Sopeutumaan avoimeen kaupunkiympäristöön älykkäiden elinten on kaapattava ympäröivien ihmisten kehon liikkeet ja kohtauksen rakenne reaaliajassa. Perinteinen käsitys tarkoittaa inertiaaliantureihin ja kameroihin, joilla on pitkän aikatietojen ajautumisen ongelmia, ja vastaavasti kevyelle ja ympäristölle dynaamisille muutoksille on vaikea vastata ihmisen kehon liikkeen ja kohtauksen sieppaamisen kysyntään monimutkaisissa ympäristöissä sovelluksessa Älykkäiden ajo-, huoltorobotiikan ja urheiluharjoituksen kentät.
Vuodesta 2022 lähtien professori Cheng Wangin ja professori Chenglu Wen -ryhmä on ensimmäinen ehdottanut Lidarin ihmisen liikkeen sieppaustekniikkaa kansainvälisellä areenalla (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). Tässä julkaisussa, HISC4D, joukkue murtaa menetelmän monipuolisten kahden hengen vuorovaikutusliikkeiden ja 3D-kohtausten kaappaamiseksi ensimmäisen henkilön näkymässä laajamittaisissa sisä- ja avoimissa kohtauksissa. Menetelmä rakentaa monivaiheisen nivelten optimointikehyksen sulauttamalla inertiaaliset ohjaukset ja LIDAR-tiedot, mikä ratkaisee tehokkaasti inertiaalisten ohjauksen aiheuttaman ajoongelman ja parantaa merkittävästi kohtauksen rekonstruoinnin tarkkuutta ja laajentaa alueellisen, ihmisen liikkeen ja vuorovaikutuksen vangitsemista. Samanaikaisesti julkaistaan ensimmäinen multimodaalinen kahden hengen vuorovaikutustietojoukko, joka kattaa erilaiset kohtaustyypit ja monipuoliset ihmisen liikkeet, tarjoamalla koulutustietoresursseja siihen liittyville tutkimusaloille.Hisc4D-tekniikka käyttää Lidaria ydinanturina ihmisten liikkeiden rekonstruointiin ja 3D-kohtauksiin osoitteessa Samanaikaisesti, joka avaa uuden ajattelutavan, jotta älykkyys menee valtavaan ulkona ja integroitumaan väkijoukkoon.
