Two brave cowgirls land on the moon. The cowgirls dismount and open fire on their enemies, but their steeds are not typical. They look like toy horses.

The plot of the sci-fi movie trailer "Cowgirls on the Moon. Cowgirls on the Moon is a movie trailer that incorporates the latest in video production technology, including virtual production, cloud rendering, and generative AI. But the trailer, which debuted at the NAB Show, is actually a fake. It was created with elements from the MovieLabs 2030 Vision, which is a program to try out new filmmaking techniques on AWS.

Ron Ames, creator of the Amazon series "The Lord of the Rings: The Rings of Power," and Katrina King, AWS Global Strategy Leader for Content Creation, shared details about the making of "Cowgirls on the Moon" at the 2024 NAB Show.

NAB Show 2024 현장 보고서

NAB SHOW 2024 현장 투어 리포트입니다.

DirectMediaLab조은송

용감한 두명의 카우걸이 달에 착륙 한다. 달에서의 탐험이 시작되고 적들에게 노출된 카우걸들은 말에서 내려 총격적을 벌인다. 그러나 그녀들의 타고 있는 말은 예사롭지 않다. 흡사 장난감 말처럼 생겼다.

SF영화 예고편 ‘달에 간 카우걸(Cowgirls on the Moon)’의 줄거리다. ‘Cowgirls on the Moon’은 버추얼 프로덕션, 클라우드 렌더링(cloud rendering), 생성AI 기술 등 최신 영상 제작 기술을 총집결해 만든 영화 예고편이다. 그러나 NAB 쇼에서 공개된 이 예고편은 사실 가짜다. AWS에서 새로운 영화 제작 기법을 시도하는 ‘무비랩스2030비전(MovieLabs 2030 Vision)의 요소를 가미해 만들었다.

아마존(Amazon) 시리즈 "반지의 제왕: 힘의 반지(The Lord of the Rings: The Rings of Power)"의 제작자 Ron Ames와 AWS 콘텐츠 제작 글로벌 전략 리더 카트리나 킹(Katrina King)이 2024 NAB 쇼에서 '카우걸스 온 더 문'의 제작 스토리를 상세히 이야기했다.

카트리나 킹은 인터뷰에서 "이 프로젝트는 처음에는 농담으로 시작됐다.  우리가 최신 클라우드 컴퓨팅과 생성AI를 선도할 수 있는 말도 안 되는 일을 해보자고 말이다. 그래서 저는 '달에 카우걸을 보내자'고 말했다”고 밝혔다.

이 프로젝트의 목표는 생성AI 지원 버추얼 프로덕션, AWS 데드라인을 사용한 클라우드 렌더링 및 VFX, 클라우드에서의 총체적인 프로덕션(holistic production in the cloud) 등  3가지 최신 기술을 실험하는 것이었다.

킹은 “AWS는 생성 AI의 책임있는 사용을 매우 중요하게 생각한다”며 “아티스트가 더 효율적으로 작업하고 일상적으로 기술의 부담을 줄일 수 있는 애플리케이션을 사용했다”고 말했다.

실제 프로젝트에서 이들은 컨셉 아트와 스토리보드에 비디오생성 AI 런웨이(Runway), 얼굴 인식을 위한  AI 툴, 어도비 프리미어(Adobe Premiere) 음성 툴을 사용했다.

킹은 “프리미어 음성툴은 마치 ADR 세션에서 녹음한 것처럼 대화 트랙을 완전히 재구성했다”며 “ADR 세션에 들어가지 않고도 시간을 아끼면서 퀄리티 높은 음성을 만들 수 있어 정말 놀라웠다”고 말했다.

ADR(Additional Dialogue Recording) 후시녹음은 영화나 드라마 제작에서 사용되는 기술이다.  촬영 시 녹음된 대사 중 일부를 다시 녹음하여 음질을 개선하거나 새로운 대사를 추가하는 작업을 말한다. 주로 드라마의 음질을 개선하고 현실감을 높이기 위해 사용한다.

영화 제작에는 생성AI툴 큐브릭(Cuebric)이 사용됐다. 큐브릭을 이용, 에셋(Asset) 생성해 언리얼 엔진으로 임포트(import)하고 제작의 특정 기술적 측면을 자동화했다. 버추얼 프로덕션의 모든 배경과 언리얼 엔진의 애니메이션도 큐브릭을 사용해 생성했다.

미국 스타트업 세이한리(seyhanlee)가 개발한 ‘큐브릭’은 이미지 생성AI '스테이블 디퓨전' 이용, 프롬프트로 동영상 배경을 만들어주는 툴이다.

세이한리는  LED 비디오월과 위치 추적 카메라 등이 설치된 XR 스튜디오에서 구동해 다양한 배경 이미지를 손쉽게 만들어낸다.  그동안 할리우드에서 영화나 TV 드라마 배경 화면 제작에는  에픽게임스의 비디오 게임 엔진 언리얼 엔진이 주로 쓰였다. 디즈니+의 ‘만달로리안’ 시리즈도 언리얼엔진으로 생성했다.

그러나 큐브릭은 LED 비디오월에 구현되는 배경 화면을 이제 이미지 생성 AI 도구인 스테이블 디퓨전을 이용해 만들 수 있게 했다. 예를 들어 “강이 흐르는 산” 등의 정교한 프롬프트를 입력해 이미지를 생성해내는 것이다.

킹은 “큐브릭이 배경을 내보내면(exports) 언리얼에서 다양한 레이어가 생성되고, 카메라를 움직이고 볼륨 위에서  카메라 트랙을 따라가면 시차가 생긴다"고 킹은 말했다.

이외 시각 효과 시설 DNEG는  8일 만에 제작에 필요한 36개의 VFX 샷을 제공했다. 전체 프로젝트는 클라우드에서 스튜디오와 렌더팜(render farm)으로 운영됐다.

렌더팜은 고성능 컴퓨팅(HPC)을 활용해 엔터테인먼트 업계에서 시각 효과에 사용되는 컴퓨터 생성 이미지(CGI)를 생성하는 상호 연결된 컴퓨팅 클러스터를 말한다. 프로젝트 프로듀서 론 아메스( Ron Ames)는 버추얼 프로덕션의 장점에 대해 전체 인프라를 교체할 수 있고 원격으로 다양한 위치에서 협업할 수 있다는 점 등을 꼽았다.

아메스(Ames)는 이전 아마존 ‘반지의 제왕’ 제작자로  AWS 워크플로우에 대해 경험이 많다.  그는 인터뷰에서 프로듀서들이 클라우드로 작업하는 것에 대해 아직 확신을 갖지 못한다고 말했다.

아메스는 “주저한다는 표현보다는 겁이 났다는 표현이 맞을 것”이라며 “이전에도 이런 방식으로 해본 적이 있다거나 특정 인프라에 투자했다는 생각은 앞으로 나아가는 데 방해가 되는 요소 중 하나”라고 언급했다. 그러나 그는 클라우드 제작이 장점이 많다고 강조했다.

아메스는 “기존의 업무 방식을 무너뜨리는 효율성, 창의적 가능성, 진정한 협업의 힘”이 클라우드 제작의 장점이라고 강조했다.