Visual effects have become an integral part of filmmaking in recent years. Not only SFX movies, but also regular dramas use visual special effects to enhance immersion. With virtual studios, you don't even have to go to the Gobi Desert these days to create an overwhelming sense of isolation.

Various entertainment technologies are transforming storytelling and creativity in the movie industry. But the problem is price, especially for VFX, which has a high price barrier, creating a trickle-down effect. Independent filmmakers and content creators with smaller budgets often struggle to compete with larger productions

[Virtual production for independent filmmakers]

South Korean virtual production platform company Beeble AI is using AI to democratize the filmmaking scene.
The two-year-old startup is developing a PC and mobile app that uses AI to provide virtual lighting for small filmmakers and creators.

Beeble AI was co-founded by five people who worked in AI research and machine learning teams at Korean game publisher Crafton (https://www.krafton.com/). Lighting is a key element in filmmaking and photography. But they realized that there wasn't a single AI startup that specialized in lighting.

비주얼 이펙트(Visual effects)는 최근 영화 제작에 필수 요소로 부상했다. SFX 영화뿐만 아니라 일반 드라마들도 시각적 특수 효과를 이용해 몰입감을 높인다. 버츄얼 스튜디오를 이용하면 요즘엔 굳이 고비 사막에 가지 않아도 압도적인 고립감을 만들 수 있다.
다양한 엔터테인먼트 테크놀로지는 영화 산업의 스토리텔링과 창의성을 바꾸고 있다. 그러나 문제는 가격이다. 특히, VFX의 가격 장벽이 높다. 때문에 빈익빈 부익부 현상이 생긴다. 예산이 부족한 독립 영화 제작자와 콘텐츠 크리에이터는 대형 프로덕션과 경쟁하는 데 어려움을 겪는 경우가 많다.

[독립 영화 제작자를 위한 버추얼 프로덕션]

한국 버추얼 프로덕션 플랫폼 기업 비블 AI(Beeble AI)는 AI를 앞세워 영화 제작 현장을 민주화 하기 위해 나섰다.

설립 2년 차인 이 스타트업은  AI를 사용해 소규모 영화 제작자들과 크리에이터를 위한 가상 조명(virtual lighting)을 제공하는 PC 및 모바일 앱을 개발하고 있다.

비블AI는 한국 게임 퍼블리셔 크래프톤(https://www.krafton.com/)에 AI리서치와 머신 러닝팀에서 근무했던 5명이 공동 창업했다. 영화 제작과 사진 작업에서 조명은 핵심적인 요소다. 그러나 이들은 조명(lighting)에 특화된 AI스타트업이 하나도 없다는데 착안해 회사를 시작했다.

이 회사는 영화 제작자와 시각 효과 아티스트를 위한 가상 조명 솔루션을 개발한다. 메인 제품은 ‘스위치라이트 스튜디오(SwitchLight Studio)라고 불리는 PC 앱이다. 이 앱은 가상 환경 안에서 조명(Lightning)과 구도(composition)를 마음대로 조정할 수 있다. 이를 통해 비블AI는 최고급 할리우드 수준 시각 효과 제작 투입되는 고비용 문제를 해결해 영화 산업의 공정한 경쟁 환경을 조성하는 것이 목표다. 비용 문제가 해결된다면 인디 영화 제작자와 콘텐츠 제작자가 대형 제작사와 경쟁할 수 있는 환경이 만들어진다는 것이 이들이 생각이다.

이런 기술력으로 비블AI(Beeble AI)의 최근 라운드에서 475만 달러(66억 원)를 투자받았다.  베이시스 셋 벤처스(Basis set Ventures)가 주도한 투자 라운드에서 비블AI는 2,500만 달러의 기업 가치를 인정받았다.

버블AI는 처음에는 가상 조명 솔루션 개발로 시작했지만, 이제는 가상 배경 등 버추얼 프로덕션의 모든 것을 제공하는 플랫폼으로 진화하고 있다. 스위치라이트 스튜디오 솔루션 역시 올해 3분기 스위치라이트 버추얼 스튜디오’로 이름을 변경할 예정이다.

공동 창업주인 김훈(Hoon Kim) 대표는 테크크런치(TechCrunch)와의 인터뷰에서 “우리의 처음 목표는 버추얼 조명(virtual lighting)이었지만, 지금은 전반적인 버츄얼 프로덕션 스튜디오(virtual production studios)로 진화하는 중”이라며 “10명 미만의 아티스트들로 구성된 소규모 팀도 할리우드 메이저 스튜디오에 필적하는 콘텐츠를 제작할 수 있는 시대가 올 것으로 예상한다”고 강조했다.

[실제 배우를 가상 환경으로 배치는 역발상]

버추얼 프로덕션(Virtual Production)은 영화 제작 시 실사 환경과 가상 환상과 실제 환경을 통합하는 작업이다. 보통 실제 배우가 가상 배경이 송출되는 LED월 앞에서 작업한 뒤 두 장면은 합성된다. 이런 버추얼 프로덕션을 구현하는 장소가 버추얼 스튜디오다. 김 대표는 “디즈니+의 '더 만달로리안'은 버추얼 프로덕션을 사용하여 촬영한 영화의 한 대표적인 예”라며 “버추얼 프로덕션은 시각 효과와 촬영 분야에서 빠르게 성장하는 분야 중 하나가 됐다”고 강조했다.

그러나 김 대표는 “하이엔드 버추얼 프로덕션에서는 대형 LED 스크린이 그린 스크린을 대체하고 있지만, 독립 영화 제작자에게는 여전히 비용이 많이 든다”고 말했다.

비블 AI의 버추얼 프로덕션은 전통적인 가상 프로덕션과 완전히 다르다. LED월을 사용해 가상 환경을 현실 세계로 가져오는 개념과 달리 실제 배우를 가상 세계(virtual world)”로 배치한다. 때문에 LED월도 필요 없다. 휴대전화 카메라만 있으면, 사용자들은 가상 환경 내에서 무한한 위치, 조명, 카메라 옵션에 액세스할 수 있다.

최근 오픈AI 소라, 런웨이의 젠3 등 비디오 생성 AI 회사들이 만든 솔루션이 애니메이션과 영화 산업을 완전히 뒤흔들고 있다. 창작자들은 자신들의 직업이 AI의 의해 대체될까 두려워하고 있다. 김 대표는 “소라, 런웨이 등 AI 비디오 생성 모델은 무작위로 콘텐츠가 만들어지고 원본 이미지나 영상도 변경되는 경우가 많다”고 지적했다.

통상 AI로 비디오를 생산하는 ‘텍스트 기반 프롬프트 인터페이스’는 영상 샷을 완벽하게 만들기 위해 세부적으로 반복적인 작업을 하기 어렵다. AI로 비디오를 여러번 생성해도 매번 조금씩 다른 영상들이 만들어진다. 고급 영화 작업에 생성 AI 솔루션을 쓸수 없는 이유다.

비블은 이 문제도 해결했다. 예측 가능하고 조작이 용이하도록 AI를 설계했다. 비블AI는 AI를 통해 완벽히 제어 가능한 동영상 제작을 목표로 했다. 김 대표는 크런치롤과의 인터뷰에서 “설득력 있는 스토리를 전달하기 위해 환경, 캐릭터, 조명 등 프로젝트의 모든 작은 디테일을 완벽하게 컨트롤해야 한다”고 덧붙였다.

[비용 절감이 가장 큰 장점]

비블AI의 비용 절감 비결은 포스트 프로덕션 단계에서 조명, 환경, 카메라 움직임을 조정할 수 있는 기본 AI 모델을 핵심으로 삼았기 때문이라는 설명이다. CVPR 2024에서 공동 창립 멤버들이 발표한 보고서에 따르면, 기본 AI 모델(foundational AI model)은 "배우의 연기를 담은 2D 영상을 물리적으로 정확한 3D 표현으로 자동 디지털화"한다.

3차원 공간에서 재구성된 배우는 정확한 위치와 모습(geometry and textures) 갖추고 있어 큰 문제 없이 아티스트가 조명, 환경, 카메라 앵글을 자유롭게 변경할 수 있다.  비블 AI는 이 기능 덕분에 예산이 크게 줄어들고 크리에이터가 스토리텔링에 집중할 수 있다고 언급했다. 사용자는 아이폰만 있으면 거실에서 영화 같은 장면을 만들 수 있다.

비블AI는 콘텐츠 제작자와 영화 제작자 등 B2C 사용자뿐만 아니라 연재 드라마 전문 숏폼 비디오 스트리밍 앱 ‘리얼샷(ReelShort)’ 등 중소 스트리밍 서비스 플랫폼도 고객이 될 수 있다고 보고 있다.

비블AI는 지난해 10월 처음으로 수익이 발생하기 시작했다고 밝혔다. 300만 명에 가까운 사용자가  스위치라이트 모바일앱을 다운로드 받았다고 설명했다. 비블AI는 캡톤AI를 앱 내에서 고급 재조명 기능을 제공하기 위해 SDK에 통합했다. 신규 투자를 통해 버블AI는 가상 조명 솔루션에서 프로덕션 스튜디오 플랫폼으로 사업을 확장할 준비를 하고 있다. 비블AI는 이번 투자금은 기본 AI 모델을 발전시키고 직원 채용, 제품 개발 등에 투자금을 사용할 계획이다.

[대화형 AI 10명 중 4명은 챗GPT 사용]

할리우드에서 생성AI 작업은 일반적인 현상이 되고 있다. 생성AI의 새로운 트렌드인 대화형 AI(conversational AI)는 유명인의 음성 복제 등 음성 기반 애플리케이션으로 진화하고 있다. AI음성은 영화나 TV 프로그램의 해외 진출을 더욱 용이하게 만들고 있다. 콘텐츠 현지화 예산이 부족한 스튜디오들도 AI 더빙을 이용해 해외 시장을 노크하고 있기 때문이다.

그러나 AI합성 음성은 현지화 외에도 전문 콘텐츠에서 다른 잠재적 용도로 사용될 수 있다. 스포츠 콘텐츠, 애니메이션, 다큐멘터리 등의 음성 내레이션, 오디오북과 같은 스크립트 오디오 애플리케이션, 대규모 언어 모델(LLM)로 구동되는 음성 지원 대화형 챗봇 등이 대표적이다. 물론 그 과정에서 동의는 필수다.

AI를 이용한 음성 복제 및 더빙은 팬들에게는 개인화된 콘텐츠 경험을 제공하면서도 빠른 속도로 고품질을 유지할 수 있다는 장점이 있다. 이를 통해 연예인들은 팬들과 교감하면서 자신의 초상권(heir likeness) 수익화할 수 있다.

최근 AI 음성 및 콘텐츠 제작은 올림픽에도 진출했다. NBC유니버설은 자사의 스트리밍 서비스 피콕(Peacock)은 올림픽 기간에 10분 길이 전날 경기 하이라이트 영상을 유명 캐스터인 마이클의 AI 보이스 클론을 담아 제공한다고 밝혔다. 사용자는 플랫폼에서 좋아하는 스포츠와 선호하는 주제 세 가지를 선택해 선택할 수 있다.

최근 유명인 및 크리에이터와 파트너십을 맺어 그들의 목소리나 페르소나로 애플리케이션이나 AI 챗봇을 맞춤화하는 등 대화형 AI를 통해 자신만의 콘텐츠 경험을 만들고자 하는 AI, 테크놀로지 기업에 대한 관심이 높아지고 있다.