전 세계 개발자 및 크리에이터가 NVIDIA Research의 최신 코드에 액세스하여 2D 이미지에서 놀라운 3D 장면생성
3D 콘텐츠 제작자들은 NVIDIA Instant NeRF를 요구하고 있습니다.NVIDIA Instant NeRF는 일련의 정적 이미지를 사실적인 3D 장면으로 변환하는 역 렌더링 도구입니다.
올해 초 첫선을 보인 이후 전 세계 수만 명의 개발자들이 소스코드를 다운로드 받아 멋진 장면을 표현하며 소셜 미디어에서 눈길을 끄는 결과를 공유했다.
Instant NeRF의 배후에 있는 연구는, 컴퓨터 그래픽 연구의 장래에 공헌한 공로로, 8월 8일부터 11일까지 밴쿠버에서 온라인상에서 행해지는 SIGGRAPH에서 최우수 논문으로 선정되고 있습니다.이 상에 선정된 5편의 논문 중 하나인 이 논문은 NVIDIA 작가와 함께 컨퍼런스에서 발표되는 17편의 논문과 워크샵에 포함되어 있으며 신경 렌더링, 3D 시뮬레이션, 홀로그래피 등을 다룹니다.
NVIDIA는 최근 Instant NeRF 경품 행사를 개최하여 개발자들에게 하이엔드 NVIDIA GPU를 획득할 수 있는 기회를 얻기 위해 이 소프트웨어로 만든 3D 장면을 공유하도록 요청했습니다. 수백 명이 참가하여 스톤헨지, 그들의 뒷마당, 심지어 애완동물까지 3D 장면을 게시했습니다.
Instant NeRF를 사용하는 크리에이터는 다음과 같습니다.
거울로 본 캐런 엑스청과 제임스 펄먼
샌프란시스코 소재 크리에이티브 디렉터 카렌 X. Cheng은 소프트웨어 엔지니어 James Perlman과 협력하여 Instant NeRF가 만들 수 있는 경계를 테스트하는 3D 장면을 렌더링하고 있습니다.
이 2인조는 Instant NeRF를 사용하여 거울 안의 반사면을 탐색하는 장면(상기 그림)을 만들고 레스토랑에서 라면을 즐기는 그룹처럼 복잡한 환경을 여러 사람과 함께 처리했습니다.
「알고리즘 자체는 획기적인 것입니다.일반 포토 측량 기술보다 충실도가 높은 물리 씬을 렌더링 할 수 있다는 것은 놀라운 일입니다」라고 Perlman씨는 말합니다."조명, 색차이, 기타 세세한 부분까지 얼마나 정확하게 재구성할 수 있는지 놀라울 따름입니다."
"그것은 실수를 예술적으로 보이게 하기도 합니다,"라고 청은 말했다."저희는 정말 거기에 기대어 1,000회 또는 5,000회 또는 50,000회 반복 실험을 하면서 장면 훈련을 적게 합니다.때로는 가장자리가 부드럽고 유화 효과가 있기 때문에 훈련을 덜 받은 것을 선호합니다.
이전의 툴을 사용하면, 「품질」의 장면을 트레이닝 하는 데 3, 4일이 걸립니다.Instant NeRF를 사용하면 NVIDIA RTX A6000 GPU를 사용하여 3D 장면을 렌더링, 트레이닝 및 프리뷰할 수 있습니다.
빠른 렌더링을 통해 반복 시간이 단축됩니다.
빨리 렌더링할 수 있는 것은 크리에이티브 프로세스에 매우 필요합니다.우리는 만나서 15~20개의 다른 버전을 촬영하고 하룻밤 사이에 실행한 후 무엇이 작동하는지 볼 수 있었습니다."라고 Cheng은 말했습니다."우리가 출판한 모든 것은 수십 번 촬영되고 다시 촬영되었습니다. 이것은 하루에 여러 장면을 촬영할 수 있을 때만 가능합니다."
시간 내 순간 보존:위그 브루예르
몬트리올 소재 크리에이티브 스튜디오인 Dpt.의 파트너이자 혁신 책임자인 Hugues Bruyére는 Instant NeRF를 매일 사용합니다.
그는 "3D 캡처는 볼륨 재구축으로 돌아가서 이동해 의미를 더해줄 수 있기 때문에 항상 제게 큰 관심사였습니다."라고 말했습니다.
브루예르는 이전에 미러리스 디지털 카메라, 스마트폰, 360 카메라 및 드론에 의존하여 기존의 사진 측량용으로 캡처한 데이터를 사용하여 Instant NeRF로 3D 장면을 렌더링했습니다.NVIDIA GeForce RTX 3090 GPU를 사용하여 Instant NeRF 장면을 렌더링합니다.
브루예르는 Instant NeRF가 온라인 도서관, 박물관, 가상현실 체험 및 유산 보존 프로젝트를 통해 문화 유물을 보존하고 공유하는 데 도움이 되는 강력한 도구가 될 수 있다고 믿고 있습니다.
"카메라 및 소프트웨어 솔루션이 저렴해짐에 따라 캡처 자체가 민주화되고 있습니다."라고 그는 말했습니다."몇 달 또는 몇 년 안에 사람들은 사물, 장소, 순간, 기억을 포착하여 실시간으로 볼륨적으로 렌더링하고 공유 가능하며 영원히 보존할 수 있게 될 것입니다."
스마트폰으로 찍은 사진을 사용하여, 브루예르는 토론토 왕립 온타리오 박물관의 전시회에서 고대 대리석 제우스 조각상의 즉석 NeRF 렌더링을 만들었습니다.
리모트 씬으로의 스텝 인: Jonathan Stephens
공간 컴퓨팅 회사인 EveryPoint의 수석 전도사인 Jonathan Stephens는 크리에이티브 및 실용적인 애플리케이션 모두에 대해 Instant NeRF를 연구해 왔습니다.
EveryPoint는 기업의 자원 관리를 지원하기 위해 비축, 야적장, 채석장과 같은 3D 장면을 재구성합니다.Stephens는 Instant NeRF를 사용하여 장면을 보다 완벽하게 캡처할 수 있으므로 고객은 장면을 자유롭게 탐색할 수 있습니다.NVIDIA GeForce RTX 3080 GPU를 사용하여 Instant NeRF로 렌더링된 장면을 실행합니다.
Stephens는 "Instant NeRF가 정말 마음에 드는 것은 렌더링이 동작하고 있는지 빠르게 알 수 있다는 것입니다."라고 말했습니다.「대형 포토 측량 세트라면, 몇시간 또는 며칠을 기다릴 수 있습니다.여기서는 다양한 데이터셋을 테스트하고 몇 분 안에 알 수 있습니다."
NVIDIA Instant NeRF를 시작하는 방법에 대한 Stephens의 튜토리얼은 NVIDIA Technical Blog를 참조하십시오.
Stephens는 또한 스마트 안경과 같은 경량 장치의 영상을 사용하여 NeRF를 만드는 실험을 했다.Instant NeRF는 거리를 걷는 동안 저해상도의 울퉁불퉁한 영상을 매끄러운 3D 장면으로 바꿀 수 있습니다.
SIGGRAPH에서 NVIDIA 검색
8월 9일 화요일 오전 9시(태평양 표준시)에 NVIDIA의 CEO Jensen Huang과 다른 고위 지도자들의 특별 연설을 시청하고 AI를 이용한 가상 세계의 배경 조사와 기술에 대해 들어보십시오.
또한 NVIDIA는 SIGGRAPH 참석자를 대상으로 다음과 같은 실제 세션과 가상 세션을 제공합니다.
가상세계 구축을 위한 USD(Universal Scene Description)의 다음 진화
Ray-Traced VR에서의 실시간 협업
연구자 소개:3D 딥 러닝 워크플로우에서 NVIDIA Kaolin을 사용하는 방법
확장된 현실의 미래:몰입이 모든 것을 바꾸는 방법
NVIDIA Instant NeRF - 신경방사성 필드 시작하기 체험 데모에서 Instant NeRF로 만드는 방법을 알아보십시오.Instant NeRF는 SIGGRAPH의 '실시간 라이브' 쇼케이스에도 참가합니다.이 쇼케이스에서는 참가자가 직접 수상 프로젝트에 투표할 수 있습니다. 보다 인터랙티브한 세션을 위해 NVIDIA Deep Learning Institute에서는 NVIDIA Omniverse 및 기타 3D 그래픽 테크놀로지를 사용한 실습 트레이닝을 회의 참석자에게 무료로 제공하고 있습니다. 8월 10일 오전 10시(태평양 표준시)에 열린 다큐멘터리 시사회 'The Art of Collaboration: NVIDIA, Omniverse, GTC'에서 NVIDIA GTC의 이면을 엿보고 NVIDIA의 크리에이티브, 엔지니어링 및 연구팀이 최신 GTC 기조연설에서 이 회사의 기술을 어떻게 시각 효과를 제공했는지 알아봅니다. SIGGRAPH에서 NVIDIA에 대해 자세히 알아보고 이 쇼 가이드에서 이벤트 및 세션의 전체 일정을 확인하십시오. 카테고리:딥 러닝 | 리서치 태그: 인공지능 | 그래픽스 | NVIDIA Research | 렌더링 | SIGGRAPH