För att anpassa sig till den öppna urbana miljön måste intelligenta kroppar fånga kroppens rörelser från de omgivande människorna och scenens struktur i realtid. De traditionella uppfattningsmedlen baserade på tröghetssensorer och kameror, som har problemen med lång tidsdata drift och känslighet för ljus respektive miljö dynamiska förändringar är svåra att möta efterfrågan på människokroppsrörelse och scenupptagning i komplexa miljöer i applikationen Fält för intelligent körning, servicerobotik och sportträning.
Sedan 2022 har teamet av professor Cheng Wang och professor Chenglu Wen varit de första som föreslog Lidar Human Motion Capture -teknik i den internationella arenan (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). I denna publikation, Hisc4D, bryter teamet igenom en metod för att fånga olika två-personers interaktionsrörelser och 3D-scener i första personens vy i stora scener inomhus och utomhus. Metoden konstruerar en gemensam optimeringsram för flera steg genom att smälta tröghetsguidledning och LIDAR-data, vilket effektivt löser drivproblemet orsakat av tröghets vägledning och förbättrar avsevärt rekonstruktionsnoggrannheten och utvidgar intervallet för rumslig, mänsklig rörelse och interaktion. Samtidigt släpps den första multimodala tvåpersons interaktionsdatasättet, som täcker olika sortyper och diversifierade mänskliga rörelser, vilket ger träningsdatasurser för relaterade forskningsområden. HISC4D-teknik använder LiDAR som kärnsensor för att rekonstruera mänskliga rörelser och 3D-scener på Samtidigt, som öppnar upp ett nytt sätt att tänka för att förankrad intelligens ska gå till det stora utomhus och integreras i publiken.
