소라만 영화를 만들 수 있는 것은 아니다. AI쇼러너 시대 개막(Sora isn't the only one who can make movies. Dawn of the AI Showrunner Era)

DML

2024년 2월 29일

[AI를 통해 캐릭터 지우고 카메라 앵글까지 선택 가능]

라이트릭스에 따르면 AI 영상 제작툴 사용법은 매우 간단하며 유용하다.

창자자들은 자신들이 가지고 있는 초기 아이디어(텍스트)를 입력하면 프롬프트를 통해 각본(Script)와 스토리보드를 만들어낸다. 스토리보드에서 본인이 원하는 스타일의 영상을 몇 번의 클릭으로 만들 수 있다.

사용자들은 캐릭터와 플롯을 생성하는 텍스트 설명을 작성한 다음 "시네마틱(cinematic)" 또는 "애니메이션(anime)" 등 다양한 카메라 앵글과 스타일을 선택할 수 있다. 날씨와 위치, 지속 시간, 카메라 움직임, 프레임도 설정할 수 있다. 또한 사용자는 별도 캐릭터 탭을 통해 전체 콘셉트에 맞춰 특정 캐릭터를 제거 또는 수정할 수 있다.

외부에서 다른 얼굴 이미지를 가져와서 자신의 이야기에 사용할 사용할 캐릭터를 AI를 통해 만들 수도 있다. 또 장면마다 일관된 캐릭터를 유지하면서 많은 요소를 변경하고 커스터마이징(고객 맞춤형)할 수 있다고 회사는 밝혔다.

영상에 음악과 오디오도 추가할 수 있다. 라이트릭스의 기술로는 아직 AI음악을 완벽히 만들어낼 수 없기 때문에 외부 트랙을 붙이도록 했다. 이런 작업들을 통해 스토리 조정과 샷 편집이 완료되면 사용자는 영상을 미리 보고 파일을 내보내 다른 사람들과 공유하여 피드백을 받을 수 있다. 영화나 TV제작을 위한 드래프트가 완성되는 것이다.

라이트릭스는 LTX슈튜디오 첫 버전은 완성된 영화를 제작하기 보다 소규모 작업, 상업용 스토리보드, 사전 제작(pre-production), 광고 기획사 등에서 사용될 것으로 예상하고 있다.

그러나 장기적으로 파브먼 CEO는 LTX스튜디오와 같은 솔루션이 다양한 영역의 영화 제작 프로젝트에 사용될 수 있을 것으로 보고 있다.

비용절감과 기간 단축을 기대함은 물론이다.

그는 "아주 작은 규모의 제작진도 멋진 작품을 만들 수 있게 될 것”이라며 “스토리 컨셉트를 빠르게 만들거나 영화 제작자가 많은 돈을 들이지 않고도 장면을 촬영할 수 있는 다양한 옵션을 평가하는 데 도움이 될 것”이라고 강조했다.

라이트릭스는 지난 2023년부터 AI기반 LTX스튜디오 개발과 런칭에 집중하고 있다. 이전에 출시했던 솔루션들의 기능들도 모두 LTX스튜디오에 통합하고 있다. 라이트릭스는 그동안 이미지나 비디오 편집툴을 개발해왔다. 이 중 사진 편집툴 페이스튠(Facetune)과 틱톡 비디오 편집 앱 비디오립(Videoleap)은 대중적으로 잘 알려져있다.

파브먼 CEO는 회사 인력 4분의 1이 이 솔루션 개발에 투입되고 있다고 밝혔다.

장기적으로 파브먼(Farbman)은 창작 시장을 흔들어놓을 것으로 예상하고 있다. 파브먼은 “AI는 게임 체인저가 될 것이며 옛날 기술들도 완전히 재검토해야 한다는 것을 의미한다”며 “우리도 마찬가지며 오토데스크나 어도비와 같은 다른 툴도 AI로 인해 완전히 바뀌고 있다”고 강조했다.

LTX스튜디오에 대한 크리에이터들의 기대감은 높은 편이다. 2022년 이 회사는 인사이트 파트너스가 이끄는(Insight Partners) 1억 3,000달러 규모 시리즈D 투자에서 글로벌 1위 틱톡 인플루언서 챨리 다마리오 가족 회사로부터 지원을 받았다.

[수익 모델은 월 구독 상품 런칭이 유력]

이 솔루션의 공식 출시는 3월 27일(미국 시간)으로 예정되어 있으며 현재 런칭 이후 바로 사용하길 원하는 고객들 대상으로 사전 예약을 받고 있다. 놀라운 점은 라이트릭스가 처음에는 무료로 제공된다는 것이다. 그러나 이 이야기는 아직은 수익 모델이 없다는 말과 같다.

그러나 향후 다른 솔루션처럼 월 이용료를 매기거나 특정 기능을 사용할 때, 추가 과금을 하는 방식으로 바뀔 것으로 보인다. 대량 작업을 위한 스튜디오용 버전이 새롭게 나올 수도 있다.

CEO 지브 파브먼(Zeev Farbman)은 악시오스와 인터뷰에서 결국 유료화할 예정이지만, 다른 도구처럼 생성AI로 편집할 때마다 가격을 매기지는 않을 것이라고 말했다. 파브먼 CEO는 “(부분 과금은) 창작 작업에 적합하지 않다”고 말했다.

[AI프로덕션 시대 본격 개막]

LTX스튜디오는 생성AI 챗GPT로 세상을 뒤집어놓은 오픈AI가 출시한 AI비디오 생성툴 소라(Sora) 이후 공개된다는 점에서 더 많은 주목을 받고 있다.

AI를 영화나 TV제작에 사용하는 툴은 개발 속도가 매우 빠르다. 생성AI기술 발전에 따라 최근에는 더욱 대담해졌다. 전체 콘텐츠 제작 과정을 AI로 바꾸려는 시도도 많다.

현재 대부분 영화 제작 AI솔루션들은 과거 대형 VFX 프로덕션만이 가능 했던 해외 로케이션 촬영이나 고가의 컴퓨터 그래픽 작업을 중소 스튜디오들에게도 가능하게 해주는 데 포커스를 맞추고 있다. 제작 비용을 절감하는 동시, 돈 때문에 제한됐던 개인의 창의력을 극대화하는데 집중하고 있는 것이다.

오픈AI의 소라(Sora) 역시 마찬가지다. 소라는 AI 디퓨전 모델(diffusion model)이다. 정적 노이즈 동영상으로 시작해 여러 단계에 걸쳐 노이즈를 제거해 새로운 AI 기반 동영상을 만들어낸다.

소라는 다양한 여러 캐릭터, 특정 유형의 움직임, 피사체와 배경의 정확한 디테일이 담긴 복잡한 신(complex scenes)을 만들어낼 수 있다.

텍스트나 이미지, 텍스트와 이미지를 함께 프롬프트로 입력해도 결과물이 나온다. 소라는 메타(Meta)나 구글(Google), AI비디오 스타트업 런웨이(Runway), 피카 랩스(Pika Labs) 등이 공개한 AI비디오 생성툴과 유사한 비슷하다.

프롬프트를 통해 만들어진 1분 내외의 영상이 퀄리티가 좋아지고 윤리적인 문제가 없다면 중소 스튜디오들도 SCI-FI애니메이션이 포함된 대형 프로젝트를 진행할 수 있다.

AI프로덕션 사이버필름(Cyberfilm)의 사라(Sara) 솔루션 역시, AI의 도움을 받아 자신이 원하는 각본을 쓰고 이를 영상 스토리보드로 구현할 수 있는 AI영상 제작 툴이다.

사이버필름은 AI를 이용해 영화제작자들이 스토리보드나 각본을 만드는 작업을 돕는다. 이 회사의 목적은 사람 작가나 영화 제작자를 AI로 대체하는 것이 아니다. 대량 자본 없이도 영화나 TV를 만들수 있도록 영화 제작 과정을 민주화하는 것이다.

이 회사 CEO 러셀 팔머(Russell Palmer)는 2021년 사이버필름을 만들고 2023년 사이버필름의 핵심 솔루션인 사가(Saga)를 개발했다. 사가(Saga)의 첫 번째 핵심 기능은 시나리오 도우미다.

사가를 이용하면 작가들은 캐릭터 설정, 장르, 스토리 기본 구성까지 도움을 받을 수 있다. 간단한 프롬프트만 입력하고 다양한 설정을 정리하면 새로운 작품 생성이 가능하다.

이를 통해 작가들은 기본 골격 드래프트를 만들 수 있다.이 솔루션은 다양한 언어로 개발돼 미국 할리우드 시장 진출을 노리는 해외 스튜디오들에게도 적합하다. 물론 아직은 기술 부족, 저작권 문제 등 현실적인 난관이 많다.

하지만, 영상 제작 현장에서 AI 사용빈도는 높아지고 있다. 라이트릭스가 2023년 조사한 바에 따르면 조사 대상 크리에이터의 62%가 이미 제작에서 생성AI기반 제품이나 기능을 이용하고 있다.

[엔드 투 엔드 AI영화의 시대]

독립 영화 제작자와 크리에이터들은 실험적인 작품을 만드는데 AI를 활용하고 있다. 일부 크리에이터들은 ‘처음부터 끝(end-to-end)’, 즉 엔드 투 엔드 AI 영화 제작이 새로운 예술 형식이 될 것이라고 믿고 있다. 전적으로 생성AI의 의존하는 새로운 예술 형식이다.

2023년 6월 ‘컬처 DAO’라는 온라인 그룹은 ‘AI23’이라고 하는 새로운 규칙을 발표했다.

“스튜디오나 위원회 없이 한 명의 영화 제작자가 자신의 비전을 실현할 수 있는 영화”를 지향하며 카메라 없이 생성 AI 도구를 사용하는 영화 제작자를 위한 규칙이다. 10개 조항인 AI23의 1항은 “영화 장소, 세트, 의상 등은 모두 AI로 만들어야 한다는 내용이 담겼다.

https://x.com/theculturedao/status/1669752247495065600?s=20

영화 제작자 저스틴 베이트먼(Justine Bateman)은 이에 대한 반대 움직임으로 인증 프로그램 Credo23을 주도하기도 했다.

영화 제작에 인공지능을 사용하지 않았거나 최소한으로 사용했음을 자체 인증하는 인증 프로그램이다.

소라나 LTX스튜디오에서 볼 수 있듯, 이제 영화 제작자가 아닌 개인들도 비디오 콘텐츠의 기획에서 제작까지 AI로 만들 수 있다. 실제 데이터를 통합 및 학습해 할리우드 영화와 동등한 수준의 사실적인 시뮬레이션을 만드는 솔루션은 이제 쉽게 볼 수 있다.

AI스타트업 페이블 스튜디오(Fable Studio)는 ‘SHOW-1’를 내놨다. 이 솔루션은 자신이 만들고 싶은 장르나 콘텐츠를 프롬프투에 맞춰 제작해준다. LTX나 사가와 비슷하다.

예를 들어 만들고 싶은 ‘사우스 파크’ 에피소드를 텍스트로 입력하면 기존 IP를 기반으로 각본, 애니메이션, 음성, 스토리 구조를 생성해준다.

이 회사의 목표는 ‘AI 영화기획자(AI Showrunner)다.

특히 영화 요소, 배우, 영상을 촬영하지 않고 AI를 이용, 합성 렌더링하는 것이 장기적으로 가져올 수 있는 영향은 잠재적으로 매우 크다.

이론적으로 AI 모델을 사용한 합성 비디오 렌더링(Rendering synthetic video with AI models)이라는 새로운 패러다임은 실제 물리적 제작 프로덕션(physical production)을 대체할 수 있다.

컴퓨터로만 장면 설정을 만들 수 있다면 세트장이나 로케이션 촬영과 카메라 자체는 소모품이 될 수밖에 없다.

물론 아직 퀄리티는 다르다.

[AI 시대, 할리우드의 미래]

기술적 진보와 별개로 영상 제작 작업에서 AI의 침범은 많은 혼란을 낳고 있다. 현재 크리에이터 인더스트리(산업)에서 AI영화 제작 툴에 대한 판단은 엇갈린다. 지지하는 진영에서는 AI툴들이 영화 제작 현장을 민주화할 것이라고 내다보고 있다. 그러나 일부 창작자(some creative professionals)은 AI툴이 일자리를 줄이고 예술의 훼손할 것이라고 보고 있다.

미국 유명 배우이자 넷플릭스 인기 영화 ‘마리아 홈커밍(Madea: Homecoming)’에 마리아 역(할머니로 분장)에 출연하고 연출한 영화 제작자인 타일러 페리(Tyler Perry)는 소라의 성능을 확인한 후 자신의 애틀랜타 스튜디오 확장(8억 달러 규모) 계획을 중단했다.

노조나 정부의 중재가 없다면 소라가 한 수백 명의 업계 종사자를 대체할 수 있다는 생각이 들었기 때문이다.

타일러 페리는 최근 버라이어티의 팟캐스트 ‘Strictly Business’에 전 워싱턴포스트 기자이자 서브스택에서 AI관련 글을 포스팅하고 있는 스티븐 자이직(Steven Zeitchik)과 함께 출연해 ‘할리우드와 AI’에 대해 논의했다.

당초 페리는 8억달러를 들여, 12개가 넘는 스튜디오를 애틀랜타에 설립할 계획이었다.

페리는 “AI를 이용해 10대가 갑자기 사람들에게 반향을 일으킬 다음 마디아 혹은 새로운 프랜차이즈를 만들 수 있기 때문에 우리가 스튜디오를 만들지 말아야 한다거나 산업 전체가 사라질 것이라는 생각은 과장됐다고 생각한다”고 말했다. 그러나 그는 “스튜디오를 만들기 전에 책임감을 가져야 한다고 생각한다”고 언급했다.

페리 역시 AI를 반대하지 않는다고 말했다. 그 역시 새롭게 개봉하는 차기작에 ‘나이든 노인’ 연기를 위해 분장실 대신 AI를 선택했다. 하지만 그는 “업계에 종사하는 모든 사람들이 너무 걱정된다. 배우, 전기, 운송, 음향, 편집자 등 AI로 인해 영향을 받을 이들을 생각할 수 밖에 없다”고 강조했다.

소라나 텍스트 기반 비디오 생성 툴이 할리우드 제작에 영향을 줄것은 분명하다. 특히, 소라나 LTX스튜디오와 같은 AI비디오 툴은 세트, 카메라, 배우 등에 수백만 달러를 투자해야 했던 프리미엄 동영상 콘텐츠 제작을 컴퓨터로 가능하게 할 것으로 보인다.