Virtual production is a system that projects a three-dimensional (3D) background in real time onto a very large light-emitting diode wall (LED wall) and simultaneously films the actors and the background. The place where this system is built is called a virtual production studio. Virtual production has many advantages.

The recent K-drama "Queen of Tears," which was a huge hit in the global market, used a virtual studio. Not only does it reduce production costs, but it also adds imagination to creative work.

In particular, virtual production systems allow for collaborative production with any studio or location around the world, transcending physical space.

A director can be in Korea or anywhere else in the world and shoot content in a virtual studio in Indonesia or Malaysia. Virtual production with Generative AI is speeding up this collaboration. The collaboration between Korean creators and ASEAN studios using entertainment technologies such as AI and virtual production is only going to grow in the future.

A parliamentary seminar will explore new directions for cultural exchange between Korea and ASEAN amid the expansion of entertainment technology such as virtual production and AI.  

The National Assembly Entertainment Technology Forum will host a global seminar on June 11 at the 3rd Seminar Room of the National Assembly Building in Yeouido, Seoul, on the theme of "The New Wave, a New Platform for ASEAN-Korea Exchange and Cooperation in the AI Era."

버추얼 프로덕션은 초대형 발광다이오드 벽(LED wall)에 3차원(3D) 배경을 실시간 투사하고 배우와 배경을 동시에 촬영하는 시스템을 말한다. 이 시스템이 구축된 장소는 ‘버추얼 프로덕션 스튜디오’다. 버추얼 프로덕션의 장점은 많다. 최근 글로벌 지역에서 큰 인기를 끈 K드라마 ‘눈물의 여왕(Queen of Tears)’도 가상 스튜디오가 대거 사용됐다. 제작비 절감은 물론이고 창작 작업에서 상상력을 더해준다.

특히, 버추얼 제작 시스템이 있다면 물리적인 공간을 뛰어넘어 전 세계 어떤 스튜디오, 현장과 협업 제작이 가능하다. 감독이 한국 등 글로벌 어디에서도 인도네시아나 말레시아에  있는 버추얼 스튜디오에서 콘텐츠를 찍을 수 있다. 생성AI를 만난 버추얼 프로덕션은 이런 협업 속도를 높이고 있다.

AI, 버추얼 프로덕션 등 엔터테인먼트 테크놀로지를 통해 한국의 창작자와 아세안(ASEAN) 스튜디오가 작품을 함께 만드는 현장은 앞으로 더 확대될 수 밖에 없다. 테크놀로지 관점에서  ‘한국과 아세안(ASEAN)의 문화 교류’가 나아갈 미래 방향을 찾는 국회 세미나가 열린다.  국회엔터테크포럼은  6월 11일 오후, 서울 여의도 국회의원회관 제3세미나실에서 "신한류, AI시대 한-ASEAN 교류·협력의 새로운 플랫폼"을 주제로 세미나를 개최한다.

[물리적인 상상력을 넓혀주는 버추얼 스튜디오]

상상력의 크기 만큼이나 가상 제작 산업 규모도 커지고 있다. 버추얼 프로덕션(Virtual Production) 산업 규모가 오는 2030년 80억 달러(11조 4,000억 원) 규모로 커질 것으로 전망된다. 특히, 생성AI가 제작에 본격 적용되면서 본격적인 변화가 예고되고 있다. 최근 버추얼 프로덕션 기업 뷰(Viu)는 이 같은 내용을 보고서를 발표했다.

보고서에 따르면, 글로벌 버추얼 프로덕션 규모는 2018년 10억 달러를 찍었다. 이후 매년 서서히 성장하다가 2023년 급강하했다. 배우와 작가 조합의 파업 때문이다.

(SAG-AFTRA and WGA strikes)전미연극무대노동자조합(IATSE)과 스튜디오사용자단체(AMPTP) 역시 근로 조건 계약 협상 중이며 현재 계약이 만료되는 7월 31일 이전에 계약을 체결하지 못할 경우 시장에 영향을 미칠 수 있다. (이 협상 역시 AI사용과 보상이 가장 쟁점이다.)

파업에 들어가지 않는다는 조건 아래, 뷰는 버추얼 프로덕션 시장 규모가 2024년 30억 달러를 넘을 것으로 전망했다. 버추얼 프로덕션 매출의 41%는 스튜디오 등 하드웨어에서 나오며 소프트웨어는 31%, 서비스 등은 28%로 분석됐다.

[용처 확대로 버추얼 프로덕션 볼륨 감소]

AI 등 기술 발전으로 버추얼 프로덕션 볼륨 평균 크기(LED 벽을 이용한 가상 프로덕션 무대)는 점점 작아지고 있다. 신규 볼륨의 크기는 2021년부터 2023년까지 29% 감소할 것으로 예상된다. 기술 발전과 사용처가 넓어졌다는 것도 볼륨 감소에 영향을 미치고 있다.

할리우드 대형 제작 현장 뿐만 아니라 애니메이션, 다큐멘터리, 광고, 교육, 기업 등 중소 콘텐츠 제작 사이트에서도 이제 버추얼 프로덕션을 사용하는 건 흔한 일이다. 뷰의 최고 마케팅 책임자는 버라이어티와의 인터뷰에서 “기업 동영상 제작에는 폭 150피트, 270도 정도의 완전 몰입형 가상 공간은 필요 없다”고 강조했다.

뷰는 또 보고서에서  생성AI가 가상 스튜디오의 복잡성 및 속도와 같은 문제를 해결하는 데 도움을 주고 있다고 강조했다. 보고서는 "가상 프로덕션 촬영은 실시간으로 이루어지지만 3D 환경을 만드는 데  몇 주 이상 걸렸다”며 “이로 인해 실시간 시장에 대응해야 하는 중소 드라마, 광고, 기업 홍보 영상 제작에는 도입이 더뎠던 것이 사실”이라고 설명했다.  

이어  보고서는 “생성AI, NERF(neural radiance fields), 3D 머신 러닝 기반 렌더링(3D Gaussian Splatting) 마커리스 트래킹(Markerless Tracking), 하이브리드 2.5 워크플로우(Hybrid 2.5 Workflows)와 같은 새로운 기술 발전으로 콘텐츠 제작 속도가 기하급수적으로 증가하고 이런 진입 장벽이 낮아졌다"고 예측했다.

[버추얼 프로덕션, 물리적 제작 지형도 넓혀줘]

사실 버추얼 프로덕션의 가장 큰 장점은 ‘상상력의 극대화’다. 물리적인 공간을 뛰어넘어 전 세계 어떤 스튜디오와도 협업과 공동 제작이 가능하다. 감독이 한국 등 글로벌 어디에서도 인도네시아나 말레시아에  있는 버추얼 스튜디오에서 콘텐츠를 찍을 수 있다. 특히, 한국과 정서와 비슷한 아세안 국가에서 버추얼 프로덕션은 더 큰 폭발력을 지닌다.  K콘텐츠와 아세안 등 글로벌 창작 산업이 만나면서 ‘모든 아시아에 통하는 ‘크로스 아시아 콘텐츠와 플랫폼’이 만들어질 수 있다.  문화와 산업, 그리고 인력의 교류도 가능하다. 이미 한국과 아시아 지역 버추얼 제작 협업은 ‘스튜디오’ 구축과 함께  확대되고 있다.

삼성전자는 최근 인피니트 스튜디오 싱가포르(Infinite Studios Singapore)에서 열린 쇼케이스에서 버추얼 프로덕션용 월(IVC 시리즈)를 전시했다.이를 통해 동남아시아 및 오세아니아 지역의 가상 프로덕션 시장을 공략한다는 계획도 밝혔다. 이 제품은 삼성전자와 Aux Media, Aputure, BytePlus, Pixotope, RED와의 협업으로 개발됐다.

다른 아시아 지역에도 아시아 크로스보더(Cross Border) 엔터테인먼트 테크놀로지 플랫폼이 구축되고 있다.

홍콩 디자인 인스티튜트(Hong Kong Design Institute)는 2024년 3월 쇼 스튜디오(Shaw Studios)에 새로운 버추얼 프로덕션을 오픈하겠다고 밝혔다.

쇼 스튜디오는 홍콩 그레이터 베이 지역에서 가장 큰 종합 영상 촬영 시설이다. 이 스튜디오는 전문 교육을 지원하고 홍콩 도시 촬영을 버추얼화하기 위해 만들어진다. 디자인 인스티튜트에 따르면 새로 지어지는 스튜디오는 삼성 마이크로LED 디스플레이를 장착하고 버추얼 프로덕션 전문업체 Disguise, ARRI의 솔루션 등 최첨단 버추얼 프로덕션 툴 등이 탑재 됐다.  스튜디오 크기는 9,000평방 피트로 홍콩 내 버추얼 스튜디오 중 가장 크다. 스튜디오에는 제어실, 작업 공간, 분장실도 포함되어 있다. HKDI는 학생, 교사, 업계 전문가들에게 장소, 기술 및 장비 지원을 통해 다양한 실험을 할 수 있는 기회를 제공할 계획이다.

이에 앞서 싱가포르의 ‘리파이너리 미디어(Refinery Media)는 2023년 말 아시아 TV포럼&마켓(Asia TV Forum and Market)에서 영화, 시리즈, 다큐멘터리, 예능 프로그램에서 버추얼 프로덕션에 제작 예산의 최대 50%를 할당하는 글로벌 공동 제작 기금을 출범시켰다. 라파이너리는 크리에이터부터 다양한 제작 스튜디오 등 매년 5개 롱폼 장르 프로젝트를 선정해 공동 자금을 지원하기로 했다.

버추얼 제작과 스튜디오의 경우 규모의 경제의 구축은 수익성과도 직결된 문제다.

한국 버추얼 스튜디오 역시 수익을 높이고 고도화된 작업을 하기 위해선 ‘물리적 한계’ 더욱 넓혀야 한다. 이 지점에서 한국 콘텐츠 기업들은  엔터테인먼트 테크놀로지에 대한 투자를 확대해야 한다. 아울러 한국과 아시아의 ‘버추얼 엔터테인먼트 테크놀로지 협업’도 매우 중요하다.

[엔터테크 관점, 한국과 아세안의 새로운 협력 모델 행사 열려]

버추얼 프로덕션, AI 등 엔터테인먼트 테크놀로지 기술의 확대 속  ‘한국과 아세안(ASEAN)의 문화 교류’가 나아갈 새로운 방향을 찾는 국회 세미나가 열린다.  

국회엔터테크포럼은 오는 6월 11일 오후, 서울 여의도 국회의원회관 제3세미나실에서 "신한류, AI시대 한-ASEAN 교류·협력의 새로운 플랫폼"을 주제로 글로벌 세미나를 개최한다. 이번 행사는 한-ASEAN 간 엔터테인먼트 테크놀로지 분야 협력과 교류를 촉진하기 위해 마련됐다. 세미나는 (사)국회엔터테크포럼[준]이 주최하고 다이렉트미디어랩이 주관한다.

국회 엔터테크포럼 상임대표이자 세미나 2부 기조연설을 맡은 고삼석 동국대 AI 융합대학 석좌교수(방송통신위원회 상임위원(전))는 “지금부터 등장하는 모든 미디어 서비스는 방송과 통신이 융합된 형태, 디지털 서비스가 될 것이다”며 “향후 등장하는 드라마, 뮤직 등 K-콘텐츠는 첨단 기술과 결합을 통해서 새로운 형태로 나타날 것”이라고 말했다.

그는 또 “이것이 우리가 한류 패러다임 전환을 고민하는 과정에서 엔터테인먼트와 테크놀로지의 결합, 즉 엔터테크에 주목해야 하는 이유다. 이것이 한류4.0 혹은 신한류의 핵심이 될 것”이라고 강조했다.