I en nyligen genomförd studie har forskare från Kina utvecklat ett LiDAR-system i chip-skala som efterliknar det mänskliga ögat genom att dynamiskt koncentrera hög-avkänning på intressanta regioner (ROI) samtidigt som det bibehåller bred medvetenhet över hela synfältet.
Studien publiceras i tidskriftenNaturkommunikation.
LiDAR-system driver maskinseende i självkörande-bilar, drönare och robotar genom att avfyra laserstrålar för att kartlägga 3D-scener med millimeterprecision. Ögat packar sina tätaste sensorer i fovea (skarp central synfläck) och flyttar blicken till det som är viktigt. Däremot använder de flesta LiDAR stela parallella strålar eller skanningar som sprider enhetlig (ofta grov) upplösning överallt. Att öka detaljer innebär att lägga till fler kanaler på ett enhetligt sätt, vilket exploderar kostnader, kraft och komplexitet.
Teamets design uppnår "bortom-näthinnan" vinkelupplösning på 0,012 grader i ROI-dubbelt så skarp som ögats ungefärliga 0,017 graders gräns. Detta innebär att systemet kan särskilja punkter åtskilda av de minsta vinklarna, som att plocka ut fina detaljer på en avlägsen vägskylt. Den omfördelar parallella avkänningskanaler på begäran och undviker kostsam brute-kraftskalning.
Phys.org talade med studiens-medförfattare, Ruixuan Chen och Xingjun Wang, från Peking University's School of Electronics.
"Motivationen kommer från en praktisk oöverensstämmelse mellan biologisk och maskinell uppfattning," förklarade forskarna. "Det mänskliga ögat uppnår hög skärpa och energieffektivitet genom att omfördela uppmärksamhet-och bibehålla bred medvetenhet samtidigt som resurserna koncentreras på det som är viktigt. Däremot eftersträvas LiDAR-upplösning ofta av "fler kanaler överallt", vilket snabbt blir dyrt och-hungrigt."
Skalningsproblemet
Machine vision-system har expanderat bortom traditionella kameror till att inkludera LiDAR-sensorer, som möjliggör exakt avståndsmätning och 3D-miljöuppfattning. Till skillnad från passiva kameror kräver LiDAR dock emissions- och mottagningshårdvara för varje pixel, vilket begränsar uppnåbar upplösning.
Nuvarande tillvägagångssätt för att förbättra LiDAR-upplösningen står inför en kritisk flaskhals. Kanalduplicering ger linjära upplösningsvinster men utlöser superlinjära explosioner i komplexitet, kraft och kostnad.
"För det första är upplösningen tätt kopplad till hårdvarukanalräkning och skanningsmekanik. För det andra är LiDAR en aktiv sensor: varje pixel kostar effektivt både sändnings- och mottagningsresurser", förklarade forskarna. "Det gör adaptiv fokusering i grunden svårare än vid passiv bildbehandling, eftersom du måste hantera optisk effekt, mottagarkänslighet och digitaliseringsbandbredd samtidigt som du möter ögon-säkerhetsbegränsningar."
För koherent frekvens-modulerad kontinuerlig våg LiDAR är denna utmaning särskilt akut. Varje koherent kanal kräver stabil frekvenskontroll, sofistikerad mottagningshårdvara och noggrann kalibrering. Detta gör massiv kanalduplicering mycket svårare att motivera ekonomiskt.
En biomimetisk lösning
Forskarnas lösning kombinerar två nyckelteknologier. Dessa inkluderar en smidig extern-kavitetslaser (ECL) med ett inställningsområde på över 100 nm och omkonfigurerbara elektro-optiska frekvenskammar byggda på tunn-filmlitiumniobat (TFLN)-plattformar.
ECL tillhandahåller högkvalitativa-FMCW chirp-signaler för koherent avståndsavstånd och fungerar som en våglängds-styrd stråle-styrmekanism. Genom att ställa in mittvåglängden kan systemet snabbt omdirigera sin synriktning inom ett brett synfält.
Den elektro-optiska kammen genererar sedan flera parallella FMCW-bärare från samma pipande laserkälla. Avgörande är att justering av radiofrekvensdriftsförhållanden ändrar kamavståndet.
"Det här är vad som möjliggör "zoom"-vi kan öka punkttätheten i en vald region (finare sampling) eller slappna av den (grövre sampling) utan att ändra optiken eller lägga till kanaler," tillade forskarna.
Systemet använder vad forskarna kallar "mikro-parallellism." Detta innebär att man använder ett måttligt antal fysiska kanaler för att uppnå motsvarande mycket fler skanningslinjer genom dynamisk ompositionering.
Experimentell validering
Teamet demonstrerade systemets kapacitet i tre experimentella scenarier, och uppnådde en vinkelupplösning på 0,012 grader i fokuserade områden-som överträffar den mänskliga näthinnans nominella gräns.
Vid statisk scenavbildning fångade systemet en simulerad vägmiljö med upplösningar på 54 gånger 71 pixlar för full{2}}synsskanningar och 17 gånger 71 pixlar för lokalt fokuserade skanningar. Dessa fokuserade skanningar fyrdubblade den vertikala detaljtätheten och avslöjade hinder som tidigare varit osynliga, med 90 % av punkterna exakta till under 1,3 cm.
Forskarna demonstrerade också LiDAR-kamerafusion, vilket skapar färgade punktmoln som kombinerar exakt 3D-geometri med RGB-utseendedata. När man jämför standardavsökningar jämfört med fokuserade skanningar förbättrades färghistogramjusteringen med cirka 10 %, vilket tyder på bättre överensstämmelse mellan 3D-punkter och bildpixlar.
"Genom att smälta LiDAR med en kamera genererar vi färgade punktmoln och berikar scenrepresentationen, vilket förbättrar tolkningsbarheten och stöder nedströms perceptionsuppgifter som beror på textur och semantiska ledtrådar," förklarade forskarna.
Det kanske mest imponerande är att laget fångade i realtid-4D-plus avbildning- av en basketkastning där varje punkt visade position, spinnhastighet, ytreflektivitet och färg samtidigt. Vid 8 Hz över ett brett synfält avslöjade detta rörelsemönster som är osynliga för standard 3D LiDAR.
Det experimentella arbetet avslöjade viktiga avvägningar på system-nivå som informerar framtida utvecklingsvägar.
"Den tydligaste är spänningen mellan vinkelupplösning och per{0}}kanalmätning", konstaterade forskarna. "I vår parallella koherenta avläsning måste varje kanal uppta sitt eget icke-överlappande elektriska band. När vi minskar upprepningshastigheten kan vi verkligen pressa vinkelsamplingen finare, men experimentet visar att detta också komprimerar bandbredden för avläsning per-kanal."
Teamet identifierade flera prioriterade riktningar för att utveckla tekniken mot praktisk implementering. Dessa inkluderar djupare monolitisk integration på TFLN-plattformar, utveckling av ultra-bredbandssvepta källor för förbättrad räckviddsupplösning och implementering av slutna-uppmärksamhetspolicyer för händelsedriven-perception.
Aktuella experiment med fiberlänkar introducerar polarisationsinstabilitet som begränsar materialklassificeringsförmågan.
"Men vi föreställer oss att monolitisk integration i grunden kommer att lösa denna flaskhals", sa forskarna. "Genom att byta från instabila fiberbanor till begränsade-chipvågledare kan vi uppnå stabil polarisationsåterställning."
Det bioniska LiDAR-systemet erbjuder potentiella tillämpningar som spänner över autonoma fordon, flyg- och marina drönare, robotik och neuromorfa synsystem. Utöver LiDAR möjliggör omkonfigurerbara kammar snabb spektralanalys för optisk kommunikation, koherenstomografi, kompressionsavkänning och precisionsmetrologi, enligt forskarna.
