The growth of virtual production in the post-pandemic era is frightening. Virtual studios, which invest light-emitting diode (LED) walls with three-dimensional backdrops and shoot actors and backgrounds simultaneously, are being used by more film and television producers for their cost savings and ability to bring imagination to life.

It also enables virtual production, where the final product can be viewed directly on the set for greater realism and flexibility during filming. Recently, virtual production has gotten stronger with generative AI that turns text into video, such as Sora(OpenAI) and Veo(Google Deepmind)

팬데믹 이후 급격히 확산되기 시작한 버추얼 프로덕션의 성장세가 무섭다. 발광다이오드(LED)월에 3차원 배경을 투자하고 배우와 배경을 동시에 촬영하는 버추얼 스튜디오는 비용 절감, 상상력의 현실화시켜주는 능력으로 보다 많은 영화, 드라마 제작자들이 사용하고 있다.  

또 최종 작업 화면을 현장에서 곧바로 확인할 수 있어 촬영 과정에서 더 욱 더 생생한 현실감을 확보하고 유연한 연출이 가능한 버추얼 프로덕션을 지원한다. 최근 버추얼 프로덕션은 소라, 베오 등 텍스트를 비디오로 만들어주는 생성AI와 만나면서 더욱 강해지고 있다.

버추얼 프로덕션 스튜디오에서는 시나리오 창의성을 극대화해 독창성과 완성도를 높일 수 있다. 제작 시간과 비용 절감을 효율화할 수 있다는 것 또한 장점이다. 버추얼 프로덕션이 상용화되기 이전까지는 실감 콘텐츠를 제작하기 위해 그린 스크린(green screen)에서 촬영한 뒤 별도의 후반 작업을 통해 기술을 콘텐츠에 입히는 과정을 필수적으로 거쳤다.

디즈니+ 오리지널 ‘만달로리안’은 전체 제작 공정의 50% 이상을 버추얼 프로덕션으로 제작했다. 한국도 스튜디오 드래곤이 제작한 ‘스위트홈’과 넷플릭스 한국 오리지널 ‘고요의 바다’ ‘승리호’, ‘서울대작전’과 영화 ‘한산’ 등을 제작 과정에서 버추얼 프로덕션으로 제작했다.

포춘 비즈니스 인사이트(Fortune Business Insights)에 따르면 ‘글로벌 버추얼 제작 시장 규모’는 2023년 29억 8,000만 달러에서 2024년 33억 8,000만 달러, 2032년 96억 2,000만 달러(13조 1,600억 원)까지 성장할 것으로 예상된다. 소니, 제로덴서티, IBM, AWS 등 방송 장비 및 솔루션 기업들도 버추얼 프로덕션 시장에서 적극적으로 영업을 하고 있다.

그동안 버추얼 프로덕션은 한계가 많았다. 계속해 실사 이미지를 투자시켜야하는 LED월의 경우 이미지의 부족과 부자연스러움이 존재했다.

특히, 생성AI가 이런 버추얼 프로덕션의 많은 한계를 해결하고 있다

현재 AI기술을 탑재한 버추얼 프로덕션은 대작보다는 중소 규모 예산 작업 현장에서 필수적으로 사용되고 있다. 예산의 부족함을 기술로 해결하고자 하는 것이다. 실사 배경을 만드는 소라(Sora)나 큐브릭(Cubric)과 같은 AI, 영상 편집 AI 등이 현장에서 긴밀하게 쓰이고 있다.

AI와 만난 버추얼 프로덕션은 더욱 현실화되고 커질 수 밖에 없다.

생성AI를 이용한, 비디오 제작 연구 및 개발은 새로운 강자들이 시장에 속속 진입하면서 더욱 고도화되고 있다. 런웨이(Runway), 피카랩스(Pika Labs) 등 초기 모델에 이어  소리, 구글딥마인드의 베오 등 빅테크의 텍스트-비디오(T2V) 모델이 등장했다. 물론 여기서 끝이 아니다 일레베런트 랩스(Irreverent Labs)와 같은 신흥 강자들도 텍스트를 이용한 비디오 생성 AI모델을 발전시키고 있다.

베오(Veo) 역시, 소라와 마찬가지로 출시 전에 할리우드 제작자들을 대상으로 사전 기능과 문제점을 테스트했다. 크리에이터 커뮤니티가 아무래도 가장 많은 사용처가 될 수 밖에 없기 때문이다.

지난 2024년 3월 오픈AI CEO 샘 알트만은 파라마운트, 워너 브라더스, 유니버설 등 주요 스튜디오의 경영진을 만났으며, 몇몇 A급 감독들이 소라의 초기 테스터로 참여한 것으로 알려졌다. 베오와 소라의 상업 모델 출시 일정은 알려지지 않았지만 2024년 말 이뤄질 것으로 전망된다. 기업 고객을 위한 버전도 준비 중인 것으로 전해졌다.

AI 비디오 생성 모델은 새로운 카메라 기술에 비유되고 있다. 더 정확하게 AI생성 이미지는 컴퓨터 생성 이미지(CGI)의 다음 단계로 볼 수 있다.  

제품 데모  동영상과 테스터, AI 연구 커뮤니티도 소라의 놀람만한 도약을 지적했다. 아직 대규모 현장에서는 사용할 수 없지만 점점 더 기능이 고도화되고 있다는 이야기다. 버추얼 프로덕션이 바라는 지점도 바로 여기다. 공개된 베오의 데모(Demo)도 강력한 기능을 보여줬다.

할리우드 영상 제작툴에 유도되는 다양한 기준들을 만족시킬 수준까지 온 것이다.