自然界中的生物視覺(jué)系統(tǒng)因其多樣化的功能引人注目，尤其是具有非凡視覺(jué)能力的復(fù)眼系統(tǒng)，如寬闊的視場(chǎng)角和強(qiáng)大的運(yùn)動(dòng)跟蹤能力，在機(jī)器視覺(jué)的實(shí)際應(yīng)用中具有巨大的潛力。當(dāng)前制造復(fù)眼系統(tǒng)通常采用可變形電子技術(shù)，然而該技術(shù)面臨包括全局形變的復(fù)雜性、應(yīng)力穩(wěn)定性、幾何限制、以及光學(xué)組件與探測(cè)器單元之間不匹配的潛在問(wèn)題，因此開發(fā)一體化的人工復(fù)眼系統(tǒng)并將其集成到自主平臺(tái)如機(jī)器人或無(wú)人機(jī)上實(shí)現(xiàn)特定的視覺(jué)功能極具挑戰(zhàn)性。
近期，香港科技大學(xué)范智勇教授團(tuán)隊(duì)開發(fā)了一種獨(dú)特的針孔復(fù)眼（PHCE）系統(tǒng)，該系統(tǒng)集成了3D打印的蜂窩狀光學(xué)結(jié)構(gòu)和半球形的全固態(tài)高密度鈣鈦礦納米線（PNA）光電探測(cè)器陣列。這種無(wú)透鏡的針孔結(jié)構(gòu)（PHA）可以根據(jù)底層圖像傳感器的需求，設(shè)計(jì)制備出任意布局。該團(tuán)隊(duì)通過(guò)對(duì)比光學(xué)模擬和成像結(jié)果驗(yàn)證了該視覺(jué)系統(tǒng)的關(guān)鍵特性和功能，包括超寬視場(chǎng)、精準(zhǔn)的目標(biāo)定位和運(yùn)動(dòng)跟蹤能力。該團(tuán)隊(duì)進(jìn)一步演示了PHCE系統(tǒng)在無(wú)人機(jī)上的功能集成，使其能夠跟蹤地面上的四足機(jī)器人。這種獨(dú)特的空中-地面協(xié)作機(jī)器人互動(dòng)展示了PHCE系統(tǒng)在未來(lái)多機(jī)器人協(xié)作和機(jī)器人群技術(shù)開發(fā)中的潛在應(yīng)用前景。
相關(guān)工作以“An ultrawide field-of-view pinhole compound eye using hemispherical nanowire array for robot vision”為題發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊《Science Robotics》，并當(dāng)選當(dāng)月封面文章。香港科技大學(xué)電子與計(jì)算機(jī)工程系博士后周宇、孫梽博和博士研究生丁宇宬為文章共同第一作者，香港科技大學(xué)電子與計(jì)算機(jī)工程系講席教授范智勇為文章通訊作者。該工作得到了香港研究資助局項(xiàng)目、粵港澳聯(lián)合實(shí)驗(yàn)室項(xiàng)目、科學(xué)探索獎(jiǎng)以及中銀香港科技創(chuàng)新獎(jiǎng)的大力支持。
圖1. PHCE及其集成組件的示意圖和圖像。(A)PHCE整體結(jié)構(gòu)示意圖。(B)PHCE系統(tǒng)的剖視圖。(C)半球形多孔氧化鋁膜中鈣鈦礦納米線的橫截面電鏡圖像和宏觀照片。(D)強(qiáng)盜蠅眼的宏觀照片。(E)安裝在印刷電路板上的PHCE系統(tǒng)的側(cè)視照片。(F)相鄰針孔單元的橫截面示意圖。(G) 不同小眼間角下針孔像素?cái)?shù)量與整體視場(chǎng)角的相對(duì)關(guān)系。(H)單個(gè)針孔和針孔陣列角度依賴的歸一化強(qiáng)度分布。
要點(diǎn)：研究者受到昆蟲（例如強(qiáng)盜蠅）復(fù)眼獨(dú)特幾何結(jié)構(gòu)的啟發(fā)，設(shè)計(jì)了蜂窩狀的針孔陣列，通過(guò)光學(xué)計(jì)算和模擬仿真優(yōu)化了有限像素?cái)?shù)下的接受角Δφ、小眼間角ΔΦ，確定了對(duì)應(yīng)針孔的最佳長(zhǎng)度直徑比，可以消除相鄰小眼之間的盲區(qū)并減少光效率損失。研究者使用摩方精密面投影微立體（PμSL）光刻3D打印技術(shù)（nanoArch? P140，精度：10 μm）制備了對(duì)應(yīng)幾何參數(shù)的針孔陣列，并與半球殼的凸面共形，原料為光敏樹脂。由于高打印自由度和簡(jiǎn)化的結(jié)構(gòu)，上述針孔陣列的參數(shù)可以很好地設(shè)計(jì)和協(xié)調(diào)，以滿足對(duì)應(yīng)圖像傳感器的需求。
圖2. 鈣鈦礦納米線光電探測(cè)器的性能。(A)多孔氧化鋁膜中不同鈣鈦礦納米線的光致發(fā)光光譜。(B)不同組分鈣鈦礦納米線的X射線衍射光譜。(C)單像素納米線光電探測(cè)器各部分能級(jí)關(guān)系。(D)單像素探測(cè)器的時(shí)間依賴開/關(guān)光響應(yīng)。(E)單像素光電探測(cè)器的光強(qiáng)依賴光電流密度和響應(yīng)度。(F)未封裝單像素光電探測(cè)器的工作穩(wěn)定性。
要點(diǎn)：鈣鈦礦納米線是在氧化鋁納米通道內(nèi)以鉛納米線作為前驅(qū)體之一生長(zhǎng)的，未完全消耗的鉛與鈣鈦礦形成接觸，在除去基底后，通過(guò)熱蒸鍍的方式制備凹球面的銦電極，研究者使用PμSL 3D打印技術(shù)制備了與半球殼凹面共形的掩膜版。氧化鋁多孔結(jié)構(gòu)為鈣鈦礦材料提供了天然的封裝，提高了器件的工作性能。通過(guò)調(diào)節(jié)鈣鈦礦中的鹵素和金屬元素，PNA光電探測(cè)器感測(cè)區(qū)域可以從可見拓展到近紅外。在弱光下，探測(cè)器的響應(yīng)度可達(dá)到2.9 A/W，隨著光照強(qiáng)度的增加，光電流增加而響應(yīng)度減小。此外，未封裝的器件在常規(guī)環(huán)境中存放 10 個(gè)月后，仍保持超過(guò)80%的原始光電流數(shù)值。
圖3. PHCE系統(tǒng)的成像能力。(A)測(cè)量裝置的示意圖。(B)半球形成像系統(tǒng)的視場(chǎng)測(cè)量。(C)捕獲的圓形圖案圖像。(D)捕獲的十字和三角圖案圖像。
要點(diǎn)：研究者集成了由121個(gè)小眼構(gòu)成的單目復(fù)眼系統(tǒng)，半球形的幾何結(jié)構(gòu)賦予整個(gè)系統(tǒng)約140°的大視場(chǎng)角。PHCE系統(tǒng)能夠在廣闊的視場(chǎng)內(nèi)成像。由聚光燈生成的圓形、十字和三角圖案可以被PHCE系統(tǒng)準(zhǔn)確捕獲并成功識(shí)別。上述實(shí)驗(yàn)成像效果與模擬仿真結(jié)果高度吻合。
圖4. PHCE系統(tǒng)的目標(biāo)定位和無(wú)人機(jī)運(yùn)動(dòng)跟蹤。(A)包含兩個(gè) PHCE 的雙目視覺(jué)系統(tǒng)照片。(B)雙目視覺(jué)系統(tǒng)的工作原理。(C)在3D空間中移動(dòng)點(diǎn)光源的空間位置和生成的移動(dòng)路徑。(D)無(wú)人機(jī)運(yùn)動(dòng)跟蹤的工作原理。(E)安裝在無(wú)人機(jī)上的PHCE照片。(F)-(H)光源和無(wú)人機(jī)移動(dòng)期間的相對(duì)位置照片以及由無(wú)人機(jī)上的PHCE捕獲的相應(yīng)圖像。
要點(diǎn)：為了精確定位點(diǎn)光源在3D空間移動(dòng)軌跡，研究者進(jìn)一步構(gòu)建了基于一對(duì)PHCE（分別具有37個(gè)小眼）的雙目復(fù)眼系統(tǒng)，其中兩個(gè)PHCE之間的角度固定為60°，整體視場(chǎng)增加到220°。雙目系統(tǒng)可將整個(gè)區(qū)域可以分為三部分，即盲區(qū)、運(yùn)動(dòng)檢測(cè)區(qū)和精確定位區(qū)。雙目復(fù)眼捕獲運(yùn)動(dòng)光源在不同位置的圖像，研究者可以解析這些位置并重建其在3D空間中的運(yùn)動(dòng)軌跡。由于PHCE系統(tǒng)出色的角度選擇性，研究者進(jìn)一步將其安裝在可編程的商業(yè)無(wú)人機(jī)上，實(shí)現(xiàn)了對(duì)載有點(diǎn)光源的四足機(jī)器人運(yùn)動(dòng)的實(shí)時(shí)定位和追蹤。
綜上所述，受到昆蟲復(fù)眼系統(tǒng)的啟發(fā)，研究者設(shè)計(jì)并制造了一種獨(dú)特的針孔復(fù)眼系統(tǒng)，具有廣闊的視場(chǎng)、精確的目標(biāo)定位和動(dòng)態(tài)運(yùn)動(dòng)跟蹤能力。通過(guò)進(jìn)一步改進(jìn)和技術(shù)升級(jí)，包括縮小設(shè)備尺寸、增加小眼數(shù)量、提高成像分辨率和響應(yīng)速度，該復(fù)眼系統(tǒng)有望實(shí)現(xiàn)在智能光電傳感和機(jī)器人技術(shù)領(lǐng)域的廣泛應(yīng)用。
原文鏈接:https://doi.org/10.1126/scirobotics.adi8666
