LoGeR – Хэт урт видеонуудаас 3D сэргээн босголт (DeepMind, UC Berkeley)

Видео бичлэгийн цагийг уялдаа холбоотой 3D ертөнц болгон хувиргах нь

Хуримын ёслол, барилгын ажил эсвэл ойгоор байгальд зугаалж буй бүх үйл явдлын бичлэгийг авч байна гэж төсөөлөөд үз дээ. Та хэдэн цагийн бичлэгтэй болж дуусах боловч энэ нь хавтгай, шугаман дараалал юм. Хэрэв та тэр урт, хүнд хэцүү видеог бүхэлд нь үзэгдлийн цорын ганц, жолоодох боломжтой 3D загвар болгон хувиргаж чадвал яах вэ? Энэ бол DeepMind болон UC Berkeley-ийн хооронд хийсэн шинэ судалгааны хамтын ажиллагаа болох LoGeR-ийн амбицтай зорилго юм. Энэ технологи нь зөвхөн зургийг хооронд нь холбож өгдөггүй; Энэ нь компьютерийн алсын хараатай холбоотой хамгийн чухал сорилтуудын нэгийг даван туулах, үргэлжлэх хугацаа болон физик замаараа урт видео урсгалуудаас байнгын 3D ертөнцийг ухаалгаар сэргээдэг.

Үндсэн сорилт: Өргөн цар хүрээг хамарсан тууштай байдал

Уламжлалт 3D сэргээн босгох аргууд нь богино хэмжээний видео клип эсвэл нэг агшинд өөр өөр өнцгөөс авсан зургийн цуглуулгаар илүү сайн байдаг. Гэсэн хэдий ч тэд "урт" видео бичлэгүүдтэй маш их тэмцдэг. Бэрхшээл хоёр талтай. Нэгдүгээрт,цаг хугацааны урт: видео хэдэн минут эсвэл хэдэн цаг үргэлжилдэг тул гэрэлтүүлэг өөрчлөгдөж, объектууд хөдөлж, хүмүүс ирж, явдаг. Хоёрдугаарт,орон зайн масштаб: камер нь цэцэрлэгт хүрээлэн, барилга руу алхах гэх мэт том талбайг туулж, газрын зураг хийхэд асар том, төвөгтэй орчинг бий болгож чадна. Одоо байгаа системүүд нь дэлхийн газрын зургийг тогтвортой байлгаж чаддаггүй бөгөөд энэ нь салангид сэргээн босголт эсвэл "хөвөгч" буюу ямар ч гадаргууд хамаарахгүй сүнслэг олдворуудад хүргэдэг. LoGeR нь цаг хугацаа, орон зайн эдгээр өргөн цар хүрээг хамарсан нэгдмэл дүрслэлийг бий болгоход анхаарлаа хандуулж, үүнийг шийддэг.

LoGeR хэрхэн уялдаа холбоотой сэргээн босголтод хүрдэг вэ

LoGeR нь урт үүсмэл сэргээн босголт гэсэн үг бөгөөд "үрийг эхлүүлэх" стратеги дээр төвлөрсөн шинэ хандлагыг танилцуулж байна. Эмх замбараагүй видео урсгалаас нэг дор 3D дүр зургийг бүхэлд нь бүтээх гэж оролдохын оронд систем нь эхлээд өөртөө итгэлтэйгээр дахин бүтээхэд хялбар видеоны жижиг, удирдах боломжтой хэсгийг тодорхойлдог. Энэхүү өндөр чанартай 3D нөхөөс нь тогтвортой зангуу буюу "үр"-ийн үүрэг гүйцэтгэдэг. Дараа нь загвар нь энэхүү 3D дүрслэлийг фрэйм ​​тус бүрээр нь өсгөж, шинэ визуал мэдээллийг нягт нямбай тусгаж, дэлхий дахины тогтвортой байдлыг хангахын тулд тогтсон үр рүүгээ иш татдаг. Энэ арга нь загварт масштабын нийтлэг алдаанаас зайлсхийх боломжийг олгодог бөгөөд маш урт оролтоос илүү нарийвчлалтай, найдвартай 3D загварыг бий болгодог. Энэ бол дүр зургийг бүхэлд нь нэг дор харахыг оролдохоос түүнийг найдвартай цөмөөс бүтээх рүү шилжих шилжилт юм.

"Бидний арга барил нь урт видеоноос дэлхийн хэмжээнд нийцсэн 3D дүр зургийг сэргээн босгох боломжийг олгодог бөгөөд энэ нь ихэвчлэн салангид геометрийг үүсгэдэг одоо байгаа аргуудын хувьд хэцүү тохиргоо юм." - LoGeR судалгааны зохиогчид

Бизнес болон бүтээгчдэд зориулсан практик хэрэглээ

LoGeR зэрэг технологийн боломжит програмууд асар их. Архитекторууд болон үл хөдлөх хөрөнгийн хөгжүүлэгчдийн хувьд энэ нь сайтын судалгааг өөрчлөх боломжтой бөгөөд энгийн видеогоор дамжуулан үл хөдлөх хөрөнгийн нарийвчилсан 3D загварыг гаргах боломжийг олгодог. Үзвэр үйлчилгээнд кино бүтээгчид байршлын скаутын өргөн хүрээний бичлэгээс дижитал багц үүсгэж болно. Логистик болон агуулахын менежментийн хувьд энэ нь асар том байгууламжийн динамик 3D зураглалыг идэвхжүүлж чадна. Бүтэцгүй видеоноос нэгдмэл дижитал ихэр бүтээх энэхүү чадвар нь хүчирхэг хэрэгсэл юм. Mewayz дээр бид энэ технологитой байгалийн хамтын ажиллагааг олж хардаг. Манай модульчлагдсан бизнесийн үйлдлийн систем нь нарийн төвөгтэй мэдээллийн урсгалыг нэгтгэх, бүтэцжүүлэх зорилгоор бүтээгдсэн. Төслийн удирдлагын модулийг төсөөлөөд үз дээ, сайтын шалгалтын видеог LoGeR гэх мэт хэрэгслээр автоматаар боловсруулдаг ба 3D загвар нь Mewayz платформ доторх ажлын жагсаалт, бараа материал, цаг хугацааны хуваарьтай шууд холбогдож, төслийн явцын талаар үнэхээр сэтгэл хөдөлгөм, өгөгдлөөр баялаг харах боломжийг олгодог.

Урагшаа харах: Орон зайн цаг хугацааны ойлголтын ирээдүй

LoGeR нь манай ертөнцийг зөвхөн цуврал зураг төдий бус, тасралтгүй, хувьсан өөрчлөгдөж буй 4D орон зай (3D + цаг) болгон ойлгох чадвартай хиймэл оюун ухааны систем рүү чиглэсэн мэдэгдэхүйц үсрэлт юм. Ирээдүйн давталтууд нь объект, хүмүүсийг цаг хугацааны туршид саадгүй хянаж, юмс хаана байгааг төдийгүй, урт хугацааны туршид хэрхэн өөрчлөгдөж, харилцан үйлчлэлцэж байгааг ойлгох боломжтой болно. Энэхүү орон зайн цаг хугацааны ойлголт нь дараагийн хил юм. Бизнесийн төв үйлдлийн систем болох зорилготой Mewayz гэх мэт платформуудын хувьд орон зайн өгөгдлийн дэвшилтэт чадавхийг нэгтгэх нь компаниудын биет үйл ажиллагааг хэрхэн төлөвлөх, хянах, дүн шинжилгээ хийхэд хувьсгал хийх боломжтой. Энэ нь биднийг дижитал болон физик ертөнцүүд хоорондоо уялдаа холбоотой байж, илүү ухаалаг шийдвэр гаргах ирээдүй рүү ойртуулдаг.

Судалгааны төсөл хэвээр байгаа ч LoGeR нь аливаа орчны иж бүрэн дижитал хуулбарыг бүтээх нь видео бичлэг хийхтэй адил хялбар ирээдүйг харуулж байна. Баримтжуулалт, дүн шинжилгээ, виртуал харилцан үйлчлэлийн үр дагавар нь гүн гүнзгий бөгөөд урт бичлэгийг удаан үргэлжлэх, судлах боломжтой ертөнц болгон хувиргадаг.

Байнга асуудаг асуултууд

Видео бичлэгийн цагийг уялдаа холбоотой 3D ертөнц болгон хувиргах нь

Хуримын ёслол, барилгын ажил эсвэл ойгоор байгальд зугаалж буй бүх үйл явдлын бичлэгийг авч байна гэж төсөөлөөд үз дээ. Та хэдэн цагийн бичлэгтэй болж дуусах боловч энэ нь хавтгай, шугаман дараалал юм. Хэрэв та тэр урт, хүнд хэцүү видеог бүхэлд нь үзэгдлийн цорын ганц, жолоодох боломжтой 3D загвар болгон хувиргаж чадвал яах вэ? Энэ бол DeepMind болон UC Berkeley-ийн хооронд хийсэн шинэ судалгааны хамтын ажиллагаа болох LoGeR-ийн амбицтай зорилго юм. Энэ технологи нь зөвхөн зургийг хооронд нь холбож өгдөггүй; Энэ нь компьютерийн алсын хараатай холбоотой хамгийн чухал сорилтуудын нэгийг даван туулах, үргэлжлэх хугацаа болон физик замаараа урт видео урсгалуудаас байнгын 3D ертөнцийг ухаалгаар сэргээдэг.

Үндсэн сорилт: Өргөн цар хүрээг хамарсан тууштай байдал

Уламжлалт 3D сэргээн босгох аргууд нь богино хэмжээний видео клип эсвэл нэг агшинд өөр өөр өнцгөөс авсан зургийн цуглуулгаар илүү сайн байдаг. Гэсэн хэдий ч тэд "урт" видео бичлэгүүдтэй маш их тэмцдэг. Бэрхшээл хоёр талтай. Нэгдүгээрт, цаг хугацааны урт: видео хэдэн минут эсвэл хэдэн цаг үргэлжилдэг тул гэрэлтүүлэг өөрчлөгдөж, объектууд хөдөлж, хүмүүс ирж, явдаг. Хоёрдугаарт, орон зайн масштаб: камер нь цэцэрлэгт хүрээлэн, барилга руу алхах гэх мэт том талбайг туулж, газрын зураг хийхэд асар том, төвөгтэй орчинг бий болгож чадна. Одоо байгаа системүүд нь дэлхийн газрын зургийг тогтвортой байлгаж чаддаггүй бөгөөд энэ нь салангид сэргээн босголт эсвэл "хөвөгч" буюу ямар ч гадаргууд хамаарахгүй сүнслэг олдворуудад хүргэдэг. LoGeR нь цаг хугацаа, орон зайн эдгээр өргөн цар хүрээг хамарсан нэгдмэл дүрслэлийг бий болгоход анхаарлаа хандуулж, үүнийг шийддэг.

LoGeR хэрхэн уялдаа холбоотой сэргээн босголтод хүрдэг вэ

LoGeR нь урт үүсмэл сэргээн босголт гэсэн үг бөгөөд "үрийг эхлүүлэх" стратеги дээр төвлөрсөн шинэ хандлагыг танилцуулж байна. Эмх замбараагүй видео урсгалаас нэг дор 3D дүр зургийг бүхэлд нь бүтээх гэж оролдохын оронд систем нь эхлээд өөртөө итгэлтэйгээр дахин бүтээхэд хялбар видеоны жижиг, удирдах боломжтой хэсгийг тодорхойлдог. Энэхүү өндөр чанартай 3D нөхөөс нь тогтвортой зангуу буюу "үр"-ийн үүрэг гүйцэтгэдэг. Дараа нь загвар нь энэхүү 3D дүрслэлийг фрэйм ​​тус бүрээр нь өсгөж, шинэ визуал мэдээллийг нягт нямбай тусгаж, дэлхий дахины тогтвортой байдлыг хангахын тулд тогтсон үр рүүгээ иш татдаг. Энэ арга нь загварт масштабын нийтлэг алдаанаас зайлсхийх боломжийг олгодог бөгөөд маш урт оролтоос илүү нарийвчлалтай, найдвартай 3D загварыг бий болгодог. Энэ бол дүр зургийг бүхэлд нь нэг дор харахыг оролдохоос түүнийг найдвартай цөмөөс бүтээх рүү шилжих шилжилт юм.

Бизнес болон бүтээгчдэд зориулсан практик хэрэглээ

LoGeR зэрэг технологийн боломжит програмууд асар их. Архитекторууд болон үл хөдлөх хөрөнгийн хөгжүүлэгчдийн хувьд энэ нь сайтын судалгааг өөрчлөх боломжтой бөгөөд энгийн видеогоор дамжуулан үл хөдлөх хөрөнгийн нарийвчилсан 3D загварыг гаргах боломжийг олгодог. Үзвэр үйлчилгээнд кино бүтээгчид байршлын скаутын өргөн хүрээний бичлэгээс дижитал багц үүсгэж болно. Логистик болон агуулахын менежментийн хувьд энэ нь асар том байгууламжийн динамик 3D зураглалыг идэвхжүүлж чадна. Бүтэцгүй видеоноос нэгдмэл дижитал ихэр бүтээх энэхүү чадвар нь хүчирхэг хэрэгсэл юм. Mewayz дээр бид энэ технологитой байгалийн хамтын ажиллагааг олж хардаг. Манай модульчлагдсан бизнесийн үйлдлийн систем нь нарийн төвөгтэй мэдээллийн урсгалыг нэгтгэх, бүтэцжүүлэх зорилгоор бүтээгдсэн. Төслийн удирдлагын модулийг төсөөлөөд үз дээ, сайтын шалгалтын видеог LoGeR гэх мэт хэрэгслээр автоматаар боловсруулдаг ба 3D загвар нь Mewayz платформ доторх ажлын жагсаалт, бараа материал, цаг хугацааны хуваарьтай шууд холбогдож, төслийн явцын талаар үнэхээр сэтгэл хөдөлгөм, өгөгдлөөр баялаг харах боломжийг олгодог.

Урагшаа харах: Орон зайн цаг хугацааны ойлголтын ирээдүй

LoGeR нь манай ертөнцийг зөвхөн цуврал зураг төдий бус, тасралтгүй, хувьсан өөрчлөгдөж буй 4D орон зай (3D + цаг) болгон ойлгох чадвартай хиймэл оюун ухааны систем рүү чиглэсэн мэдэгдэхүйц үсрэлт юм. Ирээдүйн давталтууд нь объект, хүмүүсийг цаг хугацааны туршид саадгүй хянаж, юмс хаана байгааг төдийгүй, урт хугацааны туршид хэрхэн өөрчлөгдөж, харилцан үйлчлэлцэж байгааг ойлгох боломжтой болно. Энэхүү орон зайн цаг хугацааны ойлголт нь дараагийн хил юм. Бизнесийн төв үйлдлийн систем болох зорилготой Mewayz гэх мэт платформуудын хувьд орон зайн өгөгдлийн дэвшилтэт чадавхийг нэгтгэх нь компаниудын биет үйл ажиллагааг хэрхэн төлөвлөх, хянах, дүн шинжилгээ хийхэд хувьсгал хийх боломжтой. Энэ нь биднийг дижитал болон физик ертөнцүүд хоорондоо уялдаа холбоотой байж, илүү ухаалаг шийдвэр гаргах ирээдүй рүү ойртуулдаг.