Since the pandemic, the global broadcast market has embraced virtual production as a natural part of its workflow. Virtual production (VP) is a content creation technique that combines live-action footage shot on location with computer-generated CGI and real-time visual effects. I

t is a collaborative process that uses real-time technology to combine the physical and digital worlds of video into a single process. The physical space that realizes this is called a virtual studio or virtual studio.

While virtual studios were heavily used during the pandemic when physical filming was unavailable, the elements of virtual production, such as graphics, cameras, and LED walls, have rapidly evolved to the point where virtual production has completely replaced outdoor or exotic locales. Global cities such as Hong Kong and South Korea are increasingly trying to capture their urban centers in virtual studios.

Virtual studios are popping up all over the world. The advantages of virtual production are many. It allows you to collaborate and co-produce with any studio in the world, regardless of physical location. A director could be in Korea and shoot content in a virtual studio in the US.

In recent years, "immersive entertainment" has also become more prevalent, where virtual production is enhanced to increase audience engagement and time spent with content. Younger generations are particularly familiar with immersive digital experiences. According to a Variety survey, 65% of Gen Zers say virtual reality will allow them to virtually visit anywhere they want in the next three to five years.

팬데믹 이후, 글로벌 방송 시장은 버추얼 프로덕션을 업무 플로우에 자연스럽게 받아들었다. 버추얼 프로덕션(Virtual production (VP))이란 실제 촬영한 실사 영상과 컴퓨터로 만든 CGI영상, 실시간 시각 효과를 합성한 콘텐츠 제작 기법이다. 실시간 기술을 이용해 영상의 물리적 세계와 디지털 세계를 하나의 프로세스로 결합하는 협업 프로세스인 셈이다. 이를 구현하는 물리적 공간을 가상 스튜디오, 버추얼스튜디오 라고 한다.

팬데믹에는 물리적인 촬영이 불가능한 상태에서 버추얼 스튜디오를 많이 사용했지만, 그래픽, 카메라, LED월 등 버추얼 프로덕션을 위한 요소들이 빠르게 발전해 이제는 야외나 해외 로케 촬영을 완전히 대체하는 수준으로 버추얼 프로덕션이 확대됐다. 홍콩, 한국 등 글로벌 도시에서는 도심의 모습을 버추얼 스튜디오에 담으려는 시도가 늘고 있다.

[글로벌로 확산되는 버추얼 스튜디오]

덩달아 전세계적으로 버추얼 스튜디오도 전세계적으로 늘고 있다. 버추얼 프로덕션의 장점은 많다. 물리적인 공간을 뛰어넘어 전 세계 어떤 스튜디오와도 협업과 공동 제작이 가능하다. 감독이 한국에 있어도 미국에 있는 버추얼 스튜디오에서 콘텐츠를 찍을 수 있다.

최근에는 버추얼 프로덕션을 고도화해 관객들의 참여와 콘텐츠 이용 시간을 높이는 ‘몰입형 엔터테인먼트(immersive Entertainment)’도 확산되고 있다. 특히, 젊은 세대일수록 몰입형 디지털 경험에 대한 친숙도가 높았다. 버라이어티 설문 조사 결과, Z세대의 65%가 향후 3년에서 5년 내 원하는 곳을 가상으로 방문하는 버추얼 리얼리티가 가능할 것이라고 밝혔다.

홍콩 디자인 인스티튜트(Hong Kong Design Institute)는 최근 쇼 스튜디오(Shaw Studios)에 새로운 버추얼 프로덕션을 오픈하겠다고 밝혔다. 쇼 스튜디오는 홍콩 그레이터 베이 지역에서 가장 큰 종합 영상 촬영 시설이다. 이 스튜디오는 전문 교육을 지원하고 홍콩 도시 촬영을 버추얼화하기 위해 만들어진다.

디자인 인스티튜트에 따르면 새로 지어지는 스튜디오는 홍콩에서 가장 큰 삼성 마이크로LED 디스플레이를 장착하고 버추얼 프로덕션 전문업체 Disguise, ARRI의 솔루션 등 최첨단 버추얼 프로덕션 툴 등이 탑재 됐다.

스튜디오 크기는 9,000평방 피트로 홍콩 내 버추얼 스튜디오 중 가장 크다. 스튜디오에는 제어실, 작업 공간, 분장실도 포함되어 있다. HKDI 학생, 교사, 업계 전문가들은 장소, 기술 및 장비 지원을 통해 가상과 실제 장면을 혼합하여 실험할 수 있는 기회를 마련할 수 있다.

초기에는 두 명의 HKDI 졸업생이 실험 프로젝트에 나선다.  HKDI는 항상 이론과 실무의 통합을 강조하며 학생들에게 업계와 밀접하게 연계된 최첨단 교육 과정을 제공해 왔다.  

2007년에 설립된 HKDI는 건축, 인테리어, 영상 제작 스튜디오 등의 교육에 특화된 직업 교육 기관이다. 유명 영화 제작 기기 회사  Disguise, ARRI, Dolby로부터 동시에 교육 인증을 받은 유일한 기관이다.

[NAB2024에서도 버추얼 스튜디오가 대세]

글로벌 영화, TV, 엔터테인먼트 분야 최신 기술과 플랫폼이 소개되는 NAB에서도 버추얼 프로덕션과 스튜디오는 매우 중요한 트렌드로 소개됐다. 버추얼 스튜디오를 구축해 제작 비용을 효율화하려는 진영과 AI 등 새로운 기술을 버추얼 스튜디오에 구축하려는 기업들이 라스베이거스 현장에 대거 나왔다.

소니(Sony)는 NAB2024에서 다양한 신제품과 서비스를 가지고 나왔지만 결국 버추얼 프로덕션이 주인공이다.  원격 및 분산 프로덕션, 캡처, 모니터링, 오디오, 클라우드 등  가상 프로덕션 영역 솔루션을 대거 선보였다. 버추얼 프로덕션을 통해 다양한 포맷의 방송을 대비하고 레거시 미디어 뿐만 아니라 AI, 크리에이터 이코노미에서도 점유율을 높이기 위해 노력 중이다.

소니 현장 부스는 NAB2024  메인 전시장(C8201)에 설치됐다. 현장은 방송, 라이브 제작, 뉴스, 영화 등을 위한 다양한 장비와 서비스를 전시하고 있다.  이 중에서도  버추얼 프로덕션이 핵심이다.

소니의 버추얼 프로덕션은 로케이션(현장) 촬영의 사실감과 가상 세트의 유연성을 최적 모드로 결합한 것이 특징이다.

NAB2024에서는 소니 버추얼 프로덕션 툴 셋(Sony’s Virtual Production Tool Set)이 전시된다. 버추얼 프로덕션 툴 셋은 사전 제작(프리 프로덕션) 및 온셋 워크플로우(on-set workflows)를 개선하는 데 도움이 되는 리소스 모음이다.

카메라 호환성, VENICE 디지털 시네마 카메라와 언리얼 엔진 간 카메라 설정 동기화, 태블릿을 사용한 가상 카메라 관리 기능 등이 새로운 기능으로 포함됐다.

또 현장에서는 소니가 내놓은 최첨단 LED 크리스탈 LED 베로나 디스플레이(Crystal LED VERONA display)도 설치됐다. 이 디스플레이는 카메라 내 VFX 애플리케이션에 품질과 효율성을 제공한다. 디스플레이는 새로운 딥 블랙 및 반사 방지 표면 기술과 설치가 간편한 1:1 캐비닛 디자인이 특징이다.  

버추얼 프로덕션 툴 세트를 활용, 사전 제작(pre-production)과 현장 촬영(on-set shooting)을 컬러 관리 워크플로우(a colour-managed workflow) 로 연결해 시네마틱 24p 콘텐츠를 구현할 수 있다. 현장에서 소니는  ETC@USC의 최근 단편 영화 프로젝트 ‘EUROPA’를 기반으로 한 실제 작업 환경(워크플로우)를 시연한다. 또  60p 영상으로 방송 환경에서의 멀티 카메라 전환(multi-camera switching)도 선보인다.

한편, 소니는 현장에서 네트워크 라이브 포트폴리오(Networked Live portfolio)를 선보인다. 이 시스템은 원격 및 분산 제작에 최적화되어 있다.

소니는 온프레미스 및 클라우드 하이브리드(on-premise and cloud hybrid) 솔루션을 통해 장소에 관계없이 제작 리소스를 최적으로 연결, 사용, 공유할 수 있는 에코시스템을 만들었다.  이 솔루션은 세 가지 핵심 애플리케이션으로 구성되어 있다. 기여(Contribution), 원격 프로덕션(Remote Production) , 자체 제작(In-House Production)이다.