目次
NVIDIAの新AIモデル「Neuralangelo」がリアルな3Dシーンを構築
NVIDIAの新たなAIモデル「Neuralangelo」は、ニューラルネットワークを用いた3D再構築で、2Dのビデオ映像を詳細な3D構造に変換します。これにより建物や彫刻など、現実世界のオブジェクトのリアルなバーチャルレプリカを生成します。このモデルは、複雑な質感の表現能力があり、これまでの方法を大幅に上回ります。
デモでは、NVIDIAの研究者がミケランジェロのダビデ像やトラックなど、どのようにモデルがオブジェクトを再現するかを示しました。
3Dシーンを再構築する先行するAIモデルは、反復するテクスチャパターン、均質な色、強い色のバリエーションを正確に捉えることに苦労してきました。「Neuralangelo」は、NVIDIA Instant NeRFを支える技術であるインスタント・ニューラル・グラフィックス・プリミティブを採用し、これらの微細なディテールのキャプチャを可能とします。
このモデルは、2Dビデオからいくつかのフレームを選択し、それぞれのフレームのカメラ位置を決定した後、「Neuralangelo」のAIがシーンの粗い3D表現を作成します。その後、モデルはレンダリングを最適化して詳細を鮮明化します。
最終的には、バーチャル・リアリティ・アプリケーション、デジタルツイン、ロボット開発で使用できる3Dオブジェクトや大規模シーンが生成されることになります。
Neuralangeloは、NVIDIA Researchの30近くのプロジェクトの一つであり、6月18日から22日にかけてバンクーバーで開催されるCVPR（Computer Vision and Pattern Recognition）の会議で発表される予定です。
コメント