自然界中的生物視覺系統因其多樣化的功能引人注目，尤其是具有非凡視覺能力的復眼系統，如寬闊的視場角和強大的運動跟蹤能力，在機器視覺的實際應用中具有巨大的潛力。當前制造復眼系統通常采用可變形電子技術，然而該技術面臨包括全局形變的復雜性、應力穩定性、幾何限制、以及光學組件與探測器單元之間不匹配的潛在問題，因此開發一體化的人工復眼系統并將其集成到自主平臺如機器人或無人機上實現特定的視覺功能極具挑戰性。
近期，香港科技大學范智勇教授團隊開發了一種獨特的針孔復眼（PHCE）系統，該系統集成了3D打印的蜂窩狀光學結構和半球形的全固態高密度鈣鈦礦納米線（PNA）光電探測器陣列。這種無透鏡的針孔結構（PHA）可以根據底層圖像傳感器的需求，設計制備出任意布局。該團隊通過對比光學模擬和成像結果驗證了該視覺系統的關鍵特性和功能，包括超寬視場、精準的目標定位和運動跟蹤能力。該團隊進一步演示了PHCE系統在無人機上的功能集成，使其能夠跟蹤地面上的四足機器人。這種獨特的空中-地面協作機器人互動展示了PHCE系統在未來多機器人協作和機器人群技術開發中的潛在應用前景。
相關工作以“An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision”為題發表于國際頂級學術期刊《Science Robotics》，并當選當月封面文章。香港科技大學電子與計算機工程系博士后周宇、孫梽博和博士研究生丁宇宬為文章共同第一作者，香港科技大學電子與計算機工程系講席教授范智勇為文章通訊作者。該工作得到了香港研究資助局項目、粵港澳聯合實驗室項目、科學探索獎以及中銀香港科技創新獎的大力支持。
圖1. PHCE及其集成組件的示意圖和圖像。(A)PHCE整體結構示意圖。(B)PHCE系統的剖視圖。(C)半球形多孔氧化鋁膜中鈣鈦礦納米線的橫截面電鏡圖像和宏觀照片。(D)強盜蠅眼的宏觀照片。(E)安裝在印刷電路板上的PHCE系統的側視照片。(F)相鄰針孔單元的橫截面示意圖。(G) 不同小眼間角下針孔像素數量與整體視場角的相對關系。(H)單個針孔和針孔陣列角度依賴的歸一化強度分布。
要點：研究者受到昆蟲（例如強盜蠅）復眼獨特幾何結構的啟發，設計了蜂窩狀的針孔陣列，通過光學計算和模擬仿真優化了有限像素數下的接受角Δφ、小眼間角ΔΦ，確定了對應針孔的最佳長度直徑比，可以消除相鄰小眼之間的盲區并減少光效率損失。研究者使用摩方精密面投影微立體（PμSL）光刻3D打印技術（nanoArch? P140，精度：10 μm）制備了對應幾何參數的針孔陣列，并與半球殼的凸面共形，原料為光敏樹脂。由于高打印自由度和簡化的結構，上述針孔陣列的參數可以很好地設計和協調，以滿足對應圖像傳感器的需求。
圖2. 鈣鈦礦納米線光電探測器的性能。(A)多孔氧化鋁膜中不同鈣鈦礦納米線的光致發光光譜。(B)不同組分鈣鈦礦納米線的X射線衍射光譜。(C)單像素納米線光電探測器各部分能級關系。(D)單像素探測器的時間依賴開/關光響應。(E)單像素光電探測器的光強依賴光電流密度和響應度。(F)未封裝單像素光電探測器的工作穩定性。
要點：鈣鈦礦納米線是在氧化鋁納米通道內以鉛納米線作為前驅體之一生長的，未完全消耗的鉛與鈣鈦礦形成接觸，在除去基底后，通過熱蒸鍍的方式制備凹球面的銦電極，研究者使用PμSL 3D打印技術制備了與半球殼凹面共形的掩膜版。氧化鋁多孔結構為鈣鈦礦材料提供了天然的封裝，提高了器件的工作性能。通過調節鈣鈦礦中的鹵素和金屬元素，PNA光電探測器感測區域可以從可見拓展到近紅外。在弱光下，探測器的響應度可達到2.9 A/W，隨著光照強度的增加，光電流增加而響應度減小。此外，未封裝的器件在常規環境中存放 10 個月后，仍保持超過80%的原始光電流數值。
圖3. PHCE系統的成像能力。(A)測量裝置的示意圖。(B)半球形成像系統的視場測量。(C)捕獲的圓形圖案圖像。(D)捕獲的十字和三角圖案圖像。
要點：研究者集成了由121個小眼構成的單目復眼系統，半球形的幾何結構賦予整個系統約140°的大視場角。PHCE系統能夠在廣闊的視場內成像。由聚光燈生成的圓形、十字和三角圖案可以被PHCE系統準確捕獲并成功識別。上述實驗成像效果與模擬仿真結果高度吻合。
圖4. PHCE系統的目標定位和無人機運動跟蹤。(A)包含兩個 PHCE 的雙目視覺系統照片。(B)雙目視覺系統的工作原理。(C)在3D空間中移動點光源的空間位置和生成的移動路徑。(D)無人機運動跟蹤的工作原理。(E)安裝在無人機上的PHCE照片。(F)-(H)光源和無人機移動期間的相對位置照片以及由無人機上的PHCE捕獲的相應圖像。
要點：為了精確定位點光源在3D空間移動軌跡，研究者進一步構建了基于一對PHCE（分別具有37個小眼）的雙目復眼系統，其中兩個PHCE之間的角度固定為60°，整體視場增加到220°。雙目系統可將整個區域可以分為三部分，即盲區、運動檢測區和精確定位區。雙目復眼捕獲運動光源在不同位置的圖像，研究者可以解析這些位置并重建其在3D空間中的運動軌跡。由于PHCE系統出色的角度選擇性，研究者進一步將其安裝在可編程的商業無人機上，實現了對載有點光源的四足機器人運動的實時定位和追蹤。
綜上所述，受到昆蟲復眼系統的啟發，研究者設計并制造了一種獨特的針孔復眼系統，具有廣闊的視場、精確的目標定位和動態運動跟蹤能力。通過進一步改進和技術升級，包括縮小設備尺寸、增加小眼數量、提高成像分辨率和響應速度，該復眼系統有望實現在智能光電傳感和機器人技術領域的廣泛應用。
原文鏈接:https://doi.org/10.1126/scirobotics.adi8666
