Bayangkan pengalaman VR generasi berikutnya yang memungkinkan Anda mewujudkan adegan realistis, karakter cerdas, dan situasi kompleks, lalu berinteraksi dengannya secara real time. Hal ini terjadi karena konvergensi kemajuan teknologi seperti ini dalam video 3D real-time.
Saya sudah memikirkan hal ini selama berbulan-bulan sekarang; antara generator video AI seperti Sora, alat pembuatan karakter dan narasi AI, alat pembuatan musik dan efek suara AI, dan proyek seperti Google Genie, yang didedikasikan untuk membuat seluruh permainan dan pengalaman interaktif secara langsung dalam waktu nyata, sebagian besar bahan utamanya sudah ada di sini – dalam bentuk embrio.
Tentu saja, belum ada generator hologram yang tepat, tetapi jika Anda ingin menerima headset VR, kecepatan, latensi, dan konvergensi menurut saya merupakan satu-satunya penghalang antara keberadaan kita saat ini dan pengalaman Holodeck yang berfungsi penuh, di mana Anda cukup mengatakan di mana Anda ingin berada, siapa lagi yang ada di sana, dan apa yang seharusnya terjadi, lalu versi tersebut muncul di depan mata Anda sebagai pengalaman yang sepenuhnya interaktif.
Sesekali, di tengah kesibukan kemajuan di bidang AI, ada sesuatu yang menarik perhatian saya yang tampaknya membawa pengalaman semacam ini selangkah lebih dekat. Dan hari ini adalah makalah penelitian berjudul Mewakili Video Volumetrik Panjang dengan Hierarki Gaussian Temporal.
Video volumetrik pada dasarnya lebih kompleks daripada video biasa. Alih-alih susunan piksel persegi 2D yang berubah seiring waktu, video volumetrik menghasilkan ‘voxel’ kubik dalam ruang 3D, representasi pemandangan yang jauh lebih berguna jika Anda ingin dapat berjalan mengelilinginya dan mengubah perspektif Anda. Saat Anda memainkan video game yang mewakili dunia dalam 3D, Anda sedang melihat video volumetrik.
Makalah ini merinci kemajuan dalam presentasi video volumetrik yang secara radikal mengurangi RAM video dan penyimpanan data yang diperlukan untuk merender video foto-realistis dari aset video 3D. Ini dapat menampilkan adegan yang sangat detail dalam resolusi 1080p, pada 450 frame per detik, selama 10 menit penuh atau lebih, menggunakan GPU nVidia RTX 4090 standar – dan dapat melakukannya secara real time, memungkinkan pergerakan kamera interaktif dan yang lainnya.
Teknik yang terlibat – Temporal Gaussian Hierarchy – pada dasarnya melihat pemandangan dan menentukan area mana dalam pemandangan yang berubah dengan cepat, dan mana yang bergerak lebih lambat atau tidak sama sekali, dan menciptakan hierarki representasi sehingga dapat mendedikasikan lebih banyak waktu untuk rendering bit yang kompleks dan bergerak cepat serta menghemat waktu dengan mendedikasikan lebih sedikit pemrosesan pada bit yang lambat atau statis.
Wah, apakah itu berfungsi dengan baik juga. Para peneliti, yang merupakan tim multinasional antara Universitas Zhejiang, Universitas Stanford, dan Universitas Sains dan Teknologi Hong Kong, mengatakan teknik ini menghasilkan 18.000 bingkai video hanya dengan menggunakan VRAM 17,2 GB dan penyimpanan 2,2 GB – pengurangan masing-masing sebesar 30X dan 26X , dibandingkan dengan metode 4K4D canggih sebelumnya.
Simak penjelasan lebih detailnya pada video di bawah ini, jika kamu punya ide untuk hal semacam ini!
(SIGGRAPH Asia 2024 (TOG)) Mewakili Video Volumetrik Panjang dengan Hierarki Gaussian Temporal
Apa pun ilmu sihir di baliknya, hasilnya luar biasa, seperti yang bisa Anda lihat dalam video yang disertakan dalam artikel ini. Cara rambutnya ditata membuat pikiran kecilku terkagum-kagum. Sekali lagi, itu terjadi secara real-time pada kartu video standar kelas konsumen kelas atas.
Rendering dunia 3D kompleks yang efisien dan seketika seperti ini bisa menjadi bagian penting dari pengalaman Holodeck VR; jika Anda dapat menghasilkan 450 bingkai video volumetrik per detik, Anda dapat menghasilkan 225 bingkai penglihatan stereo 1080p per detik untuk headset VR, seperti yang ditunjukkan di bawah ini dengan Apple Vision Pro.
Ini adalah hal yang cukup gila, dan satu lagi pengingat akan akselerasi liar yang kita lihat di berbagai bidang pada tahun 2024. Sangat keren!
