LoGeR – өте ұзақ бейнелерден 3D қайта құру (DeepMind, UC Berkeley)

Бейне сағаттарын үйлесімді 3D әлеміне айналдыру

Толық оқиғаның — үйлену тойының, құрылыс жобасының немесе орман арқылы табиғат серуенінің бейнесін түсіріп алғаныңызды елестетіп көріңіз. Сіз бірнеше сағаттық кадрлармен аяқталасыз, бірақ бұл тегіс, сызықтық дәйектілік. Егер сіз сол ұзақ, ыңғайсыз бейнені бүкіл көріністің жалғыз, навигациялық 3D үлгісіне айналдыра алсаңыз ше? Бұл DeepMind және UC Berkeley арасындағы ғылыми-зерттеу ынтымақтастығы LoGeR-дің өршіл мақсаты. Бұл технология фотосуреттерді біріктіріп қана қоймайды; ол компьютерлік көрудегі ең маңызды қиындықтардың бірін шеше отырып, ұзақтығы да, физикалық жолы да ұзақ бейне ағындарынан тұрақты 3D әлемін ақылды түрде қалпына келтіреді.

Негізгі міндет: кең ауқымдағы жүйелілік

Дәстүрлі 3D реконструкция әдістері қысқа бейнеклиптермен немесе бір сәтте әртүрлі бұрыштардан түсірілген фотосуреттер жиынтығымен жақсы нәтиже береді. Дегенмен, олар «ұзын» бейнелермен қатты күреседі. Қиындықтар екі жақты. Біріншіден,уақытша ұзақтық: бейне минуттарға немесе сағаттарға созылғанда, жарықтандыру өзгереді, нысандар қозғалады және адамдар келеді және кетеді. Екіншіден,кеңістіктік масштаб: камера үлкен аумақты айналып өтуі мүмкін, мысалы, саябақта және ғимаратқа кіріп, карта жасау үшін ауқымды және күрделі орта жасайды. Қолданыстағы жүйелер жиі дәйекті жаһандық картаны сақтай алмайды, бұл бір-бірінен ажыратылған реконструкцияларға немесе «жүзушілерге» әкеледі - ешбір бетке жатпайтын артефактілер. LoGeR осы кең ауқымды уақыт пен кеңістікте үйлесімді болып қалатын біртұтас көріністі құруға назар аудару арқылы мәселені шешеді.

LoGeR үйлесімді қайта құруға қалай қол жеткізеді

LoGeR (ұзақ генеративтік қайта құру) дегенді білдіреді, «тұқымды инициализациялау» стратегиясына негізделген жаңа тәсілді ұсынады. Бүкіл 3D көріністі ретсіз бейне ағынынан бірден құруға тырысудың орнына, жүйе алдымен жоғары сенімділікпен қайта құру оңайырақ бейненің шағын, басқарылатын сегментін анықтайды. Бұл жоғары сапалы 3D патч тұрақты якорь немесе «тұқым» ретінде қызмет етеді. Содан кейін модель жаһандық үйлесімділікті қамтамасыз ету үшін орнатылған тұқымға сілтеме жасай отырып, жаңа көрнекі ақпаратты мұқият енгізе отырып, осы 3D көрінісін кадр бойынша біртіндеп өсіреді. Бұл әдіс модельге өте ұзақ енгізуден дәлірек және сенімдірек 3D үлгісін жасай отырып, масштабтың жалпы қателерінен аулақ болуға тиімді мүмкіндік береді. Бұл бүкіл суретті бірден көруге тырысудан оны сенімді негізгіден құруға ауысу.

«Біздің әдіс ұзақ бейнеден жаһандық дәйекті 3D көріністі қайта құруға мүмкіндік береді, бұл жиі ажыратылған геометрияны тудыратын қолданыстағы әдістер үшін күрделі параметр болып табылады». - LoGeR зерттеу авторлары

Кәсіпорындар мен авторларға арналған практикалық қолданбалар

LoGeR сияқты технологияға арналған әлеуетті қолданбалар кең. Сәулетшілер мен жылжымайтын мүлік әзірлеушілері үшін ол сайттағы сауалнаманы түрлендіруі мүмкін, бұл мүліктің егжей-тегжейлі 3D үлгісін жасау үшін қарапайым бейне арқылы өтуге мүмкіндік береді. Ойын-сауықта кинорежиссерлар кең көлемді скауттық кадрлардан сандық жинақтар жасай алады. Логистика және қойманы басқару үшін ол үлкен нысандардың динамикалық 3D картасын жасауға мүмкіндік береді. Құрылымы жоқ бейнеден біртұтас сандық егіз жасау мүмкіндігі күшті құрал болып табылады. Mewayz-те біз бұл технологиямен табиғи синергияны көреміз. Біздің модульдік бизнес ОЖ күрделі деректер ағындарын біріктіру және құрылымдау үшін жасалған. Жобаны басқару модулін елестетіп көріңізші, онда сайтты тексеру бейнелері LoGeR сияқты құралмен автоматты түрде өңделеді және алынған 3D моделі Mewayz платформасындағы тапсырмалар тізімдерімен, түгендеумен және уақыт кестелерімен лезде байланыстырылады, бұл жобаның орындалу барысының шынайы иммерсивті және деректерге бай көрінісін қамтамасыз етеді.

Болашаққа көзқарас: Кеңістік-уақыттық түсіністіктің болашағы

LoGeR біздің әлемді суреттер қатары ретінде емес, үздіксіз, дамып келе жатқан 4D кеңістігі (3D + уақыт) ретінде түсіне алатын AI жүйелеріне айтарлықтай секіріс білдіреді. Болашақ итерациялар заттардың қай жерде екенін ғана емес, сонымен бірге олардың ұзақ уақыт бойы қалай өзгеретінін және өзара әрекеттесетінін түсініп, объектілер мен адамдарды бірнеше сағат бойы үздіксіз бақылай алады. Бұл кеңістіктік-уақыттық түсінік келесі шекара болып табылады. Бизнестің орталық операциялық жүйесі болуды мақсат ететін Mewayz сияқты платформалар үшін осындай кеңейтілген кеңістіктік деректер мүмкіндіктерін біріктіру компаниялардың физикалық операцияларды жоспарлау, бақылау және талдау әдісін өзгертуі мүмкін. Бұл бізді ақылдырақ шешім қабылдау үшін цифрлық және физикалық әлемдер бір-бірімен үздіксіз араласатын болашаққа жақындатады.

Ғылыми жоба болғанымен, LoGeR кез келген ортаның жан-жақты сандық көшірмесін жасау бейнені жазу сияқты қарапайым болатын болашаққа нұсқайды. Құжаттаманың, талдаудың және виртуалды әрекеттестіктің салдары терең, бұл ұзақ жазбаларды ұзақ, зерттелетін әлемге айналдырады.

Жиі қойылатын сұрақтар

Бейне сағаттарын үйлесімді 3D әлеміне айналдыру

Толық оқиғаның — үйлену тойының, құрылыс жобасының немесе орман арқылы табиғат серуенінің бейнесін түсіріп алғаныңызды елестетіп көріңіз. Сіз бірнеше сағаттық кадрлармен аяқталасыз, бірақ бұл тегіс, сызықтық дәйектілік. Егер сіз сол ұзақ, ыңғайсыз бейнені бүкіл көріністің жалғыз, навигациялық 3D үлгісіне айналдыра алсаңыз ше? Бұл DeepMind және UC Berkeley арасындағы ғылыми-зерттеу ынтымақтастығы LoGeR-дің өршіл мақсаты. Бұл технология фотосуреттерді біріктіріп қана қоймайды; ол компьютерлік көрудегі ең маңызды қиындықтардың бірін шеше отырып, ұзақтығы да, физикалық жолы да ұзақ бейне ағындарынан тұрақты 3D әлемін ақылды түрде қалпына келтіреді.

Негізгі міндет: кең ауқымдағы жүйелілік

Дәстүрлі 3D реконструкция әдістері қысқа бейнеклиптермен немесе бір сәтте әртүрлі бұрыштардан түсірілген фотосуреттер жиынтығымен жақсы нәтиже береді. Дегенмен, олар «ұзын» бейнелермен қатты күреседі. Қиындықтар екі жақты. Біріншіден, уақытша ұзақтық: бейне минуттарға немесе сағаттарға созылатындықтан, жарықтандыру өзгереді, нысандар қозғалады және адамдар келеді және кетеді. Екіншіден, кеңістіктік масштаб: камера үлкен аумақты айналып өтуі мүмкін, мысалы, саябақта және ғимаратқа кіріп, карта жасау үшін ауқымды және күрделі орта жасайды. Қолданыстағы жүйелер жиі дәйекті жаһандық картаны сақтай алмайды, бұл бір-бірінен ажыратылған реконструкцияларға немесе «жүзушілерге» әкеледі - ешбір бетке жатпайтын артефактілер. LoGeR осы кең ауқымды уақыт пен кеңістікте үйлесімді болып қалатын біртұтас көріністі құруға назар аудару арқылы мәселені шешеді.

LoGeR үйлесімді қайта құруға қалай қол жеткізеді

LoGeR (ұзақ генеративтік қайта құру) дегенді білдіреді, «тұқымды инициализациялау» стратегиясына негізделген жаңа тәсілді ұсынады. Бүкіл 3D көріністі ретсіз бейне ағынынан бірден құруға тырысудың орнына, жүйе алдымен жоғары сенімділікпен қайта құру оңайырақ бейненің шағын, басқарылатын сегментін анықтайды. Бұл жоғары сапалы 3D патч тұрақты якорь немесе «тұқым» ретінде қызмет етеді. Содан кейін модель жаһандық үйлесімділікті қамтамасыз ету үшін орнатылған тұқымға сілтеме жасай отырып, жаңа көрнекі ақпаратты мұқият енгізе отырып, осы 3D көрінісін кадр бойынша біртіндеп өсіреді. Бұл әдіс модельге өте ұзақ енгізуден дәлірек және сенімдірек 3D үлгісін жасай отырып, масштабтың жалпы қателерінен аулақ болуға тиімді мүмкіндік береді. Бұл бүкіл суретті бірден көруге тырысудан оны сенімді негізгіден құруға ауысу.

Кәсіпорындар мен авторларға арналған практикалық қолданбалар

LoGeR сияқты технологияға арналған әлеуетті қолданбалар кең. Сәулетшілер мен жылжымайтын мүлік әзірлеушілері үшін ол сайттағы сауалнаманы түрлендіруі мүмкін, бұл мүліктің егжей-тегжейлі 3D үлгісін жасау үшін қарапайым бейне арқылы өтуге мүмкіндік береді. Ойын-сауықта кинорежиссерлар кең көлемді скауттық кадрлардан сандық жинақтар жасай алады. Логистика және қойманы басқару үшін ол үлкен нысандардың динамикалық 3D картасын жасауға мүмкіндік береді. Құрылымы жоқ бейнеден біртұтас сандық егіз жасау мүмкіндігі күшті құрал болып табылады. Mewayz-те біз бұл технологиямен табиғи синергияны көреміз. Біздің модульдік бизнес ОЖ күрделі деректер ағындарын біріктіру және құрылымдау үшін жасалған. Жобаны басқару модулін елестетіп көріңізші, онда сайтты тексеру бейнелері LoGeR сияқты құралмен автоматты түрде өңделеді және алынған 3D моделі Mewayz платформасындағы тапсырмалар тізімдерімен, түгендеумен және уақыт кестелерімен лезде байланыстырылады, бұл жобаның орындалу барысының шынайы иммерсивті және деректерге бай көрінісін қамтамасыз етеді.

Болашаққа көзқарас: кеңістіктік-уақыттық түсінудің болашағы

LoGeR біздің әлемді суреттер қатары ретінде емес, үздіксіз, дамып келе жатқан 4D кеңістігі (3D + уақыт) ретінде түсіне алатын AI жүйелеріне айтарлықтай секіріс білдіреді. Болашақ итерациялар заттардың қай жерде екенін ғана емес, сонымен бірге олардың ұзақ уақыт бойы қалай өзгеретінін және өзара әрекеттесетінін түсініп, объектілер мен адамдарды бірнеше сағат бойы үздіксіз бақылай алады. Бұл кеңістіктік-уақыттық түсінік келесі шекара болып табылады. Бизнестің орталық операциялық жүйесі болуды мақсат ететін Mewayz сияқты платформалар үшін осындай кеңейтілген кеңістіктік деректер мүмкіндіктерін біріктіру компаниялардың физикалық операцияларды жоспарлау, бақылау және талдау әдісін өзгертуі мүмкін. Бұл бізді ақылдырақ шешім қабылдау үшін цифрлық және физикалық әлемдер бір-бірімен үздіксіз араласатын болашаққа жақындатады.