2024 is likely to be the year that generative AI hits Hollywood. First, a major barrier to the use of AI has been removed. In 2023, after the Hollywood writers' and actors' strike ended, the "Basic Guidelines for the Use of AI in Film and Television Production" were created.

Writers and studios can't use AI to write scripts and credit it as an author or pay royalties. Actors have given permission to generate AI humans that look like them. Studios have also reached basic agreements that allow them to create AI works such as voice replication.  

At the same time, the technical level of AI used in creative activities such as AI dubbing, AI composition, and AI screenwriting has improved considerably. Recently, studios that collect and package AI tools into AI production (planning, production, editing, and distribution) have also emerged. Of course, AI writers cannot reach the level of human writers, but they have reached the level of 'assistant'.

Also, due to the 150-day strike in 2023, many projects have been pushed back or canceled. Studios and writers need to speed up content production. There's nothing like AI to increase creative productivity and speed things up. For Hollywood, AI is becoming an inescapable reality.

Audiences are also interested in AI-generated stories and actors. Of course, the number of people willing to pay for AI-generated content is still low, but it is gradually increasing. If an AI-generated draft and a Hollywood-class closing pitcher (Human writer) collaborate, there can be great synergy.

The discussion of how AI is changing the movie scene will continue at CES 2024,9-12  Jan in Las Vegas. AI and the changing production landscape will be the main theme of the Digital Hollywood, Variety Entertainment Technology Summit.

On January 10th at 4pm (Kst 11th at 9am), DirectMediaLab will host a panel discussion on "AI and the Future of Content, Streaming, and Entertainment" with TheCore and the Digital Industry Policy Institute, which is one of Korea's top media research organizations.

The DirectMediaLab will examine how technology, including AI, is democratizing production. The Core and the Digital Industry Policy Institute also analyzed the response and future of big tech social and domestic telecom broadcasters to AI. on-site and online applications are both available. This article is also available in English.

2024년은 생성AI가 미국 할리우드에 적용되는 원년이 될 가능성이 높다. 먼저 AI 사용에 대한 큰 장벽이 사라졌기 때문이다. 2023년 할리우드 작가와 배우들의 파업이 끝난 뒤 ‘영화와 TV제작에서 AI사용에 대한 기본 가이드라인’이 만들어졌다.

작가와 스튜디오는 각본 작성에 AI를 사용하돼 AI를 작가로 인정하거나 저작권료를 지급할 수 없다. 배우들도 자신들을 닮은 AI 휴먼 제작을 허락했다. 스튜디오 역시, 음성 복제 등 AI 저작물을 만들 수 있는 기본 합의를 받아냈다.  

이와 함께 AI더빙, AI작곡, AI 각본 등 창작활동에 사용되는 AI의 기술 수준이 상당히 향상됐다. 최근 AI툴을 모아 AI프로덕션(기획, 제작, 편집, 유통)으로 종합 패키징하는 스튜디오드도 등장했다. AI 작가가 물론 사람 작가 수준은 되지 못하지만 ‘조수’가 될 정도의 수준에는 올라선 셈이다.

또 2023년 150여 일 간 진행된 파업 때문에 현재 수많은 프로젝트들이 밀려거나 취소됐다. 스튜디오와 작가들 입장에서는 콘텐츠 생산 속도를 높여야하는 상황인 셈이다. 창작의 생산성을 높이고 작업 속도를 개선하는데는 AI만큼 좋은 것은 없다. 할리우드에게도 이제 AI는 피할 수 없는 현실이 되고 있다.

오는 1월 9일부터 12일까지 미국 라스베이거스에서 열리는 CES2024에서도 ‘AI가 바꾸는 영화 현장에 대한 논의’들이 이어진다. 디지털할리우드, 버라이어티 엔터테인먼트 테크놀로지 서밋에서는 AI와제작 환경 변화가 메인 테마로 이야기된다. 상세한 내용은 다이렉트미디어랩이 낸 자료집을 참조하면 된다.

다이렉트미디어랩도 1월 10일 오후 4시(한국 11일 오전 9시) 국내 최고 미디어 관련 연구기관들 중 하나인 더코어, 디지털산업정책연구소와 함께 ‘AI와 콘텐츠, 스트리밍, 엔터테인먼트의 미래’를 논의하는 자리를 만들었다. 다이렉트미디어랩은 ‘AI를 포함 테크놀로지가 민주화하는 제작 현장’ 조망한다. 더코어와 디지털산업정책연구원도 빅테크 소셜, 국내 통신 방송사업자들의 AI에 대한 대응과 미래를 분석했다. CES 현장과 온라인 신청 모두 가능하다.

[예술과 기술의 중간에 위치한 AI프로덕션]

요즘 할리우드를 벗어나 미국 실리콘밸리에 콘텐츠 스튜디오를 만든 기업들도 있다. 바로 AI기술을 이용, 콘텐츠를 제작하는 AI프로덕션들이 대표적이다. 사이버필름(Cyberfim)는 정확히 할리우드와 AI기업 중간에 서 있는 기업이다. 생성AI를 이용해 콘텐츠를 만들고 제작한다.

사이버필름은 영화제작자들이 스토리보드나 각본을 만드는 작업을 AI를 이용해 돕는다. 사이버 필름의 목적은 사람 작가나 영화 제작자를 AI로 대체하는 것이 아니다. 오히려 대량 자본 없이도 영화나 TV를 만들수 있도록 영화 제작 과정을 민주화하는 것이다.

이 회사 CEO인 러셀 팔머(Russell Palmer)는 캐나다 토론토에서 보낸 유년 시절 닌자터틀이나 고스터버스터즈와 같은 SF영화를 보고 영광하면서 이 때부터 상상력을 키워왔다. SF영화는 어린 시절 그의 상상력을 자극했다. 러셀은 동생인 앤드류와 함께 영화를 재현하고 아버지의 VHS캠코더를 이용해 자신의 영화를 다시 찍었다.

러셀은 대학에서 전자공학과 컴퓨터 사이언스를 전공했다. 그가 마이크로소프트에서 AI를 연구하기 시작하면서 전문직 세계로 처음 진출할 수 있는 토대가 됐다. 그의 형도 컴퓨터 사이언스 학위를 받은 뒤 형의 길을 따라갔다. 이후 영화학교에서 다니고 마침내 조감독으로 자리를 잡았다.  이런 이력은 아트와 테크놀로지에 모두 익숙한 사이버필름이라는 AI 기술 기반 스튜디오 창업으로 이어졌다.

2019년 마이크로소프트  프로덕트 매니저로 8년을 일한 뒤 러셀은 처음으로 AI로 향했다. 애플의 AI비서 시리(Siri)를 만든  스타트업 비브 립스(Viv Labs)에 합류해 새로운 AI비서를 만드는 작업을 했다. 러셀은 Viv의 첫 번째 프로덕트 매니저(PM)이었으며,이 회사는 나중에 성성에 인수됐다.

이후 삼성 AI 비서 빅스비의 새 버전이 출시될 때까지 3년 동안 근무했다.  러셀은 이후 JP모건(JP Morgan)의 AI/ML가속화팀(AI/ML  Acceleration team)을 이끈 뒤 창업의 길로 들어섰다.

러셀은 블로그에 AI가 할리우드를 어떻게 바꿀 수 있는 지에 대해 자주 쓰고 AI전문가들과 할리우드에 익숙한 관계자들과 논의 끝에 사이버필름이 탄생했다.

2021년 사이버필름을 만들었다. 2년 동안 제품 개발에 집중했다.  1년 뒤 2022년 11월 오픈AI의 GPT3는 사이버필름 성공의 촉매제가 됐다. 러셀은 챗GPT챗봇이 출시되기 1년 전부터 GPT3에 익숙했다. 러셀은 GPT가 게임 체인저가될 것이라는 알고 있었다. 러셀과 동료들은 2023년 사이버필름의 핵심 솔루션인 사가(Saga)를 개발했다.현재 사가(Saga)의 첫 번째 핵심 기능은 시나리오 도우미다.(screenwriting assistant)

사가를 이용한 작가들은 캐릭터 설정, 장르, 스토리 기본 구성까지 도움을 받을 수 있다. 사가 설명 비디오에 따르면 간단한 프롬프트만 입력하고 다양한 설정을 정리하면 새로운 작품 생성이 가능하다. 이를 통해 작가들은 기본 골격 드래프트를 만들 수 있다.

창작 과정에서 생각이 막힐 때 대화나 장면 내레이션에 대한 제안과 할리우드 스토리, 캐릭터들의 행동 패턴도 제안해 준다고 회사는 밝혔다. 각본의 타겟 오디언스도 설정할 수 있다. 사이버필름 유튜브에는 ‘금발이 너무해’ 속편을 사가를 통해 만드는 과정이 시연되어 있다. 안타깝게도 아직은 영어만 지원된다.

사가는 2023년 봄 공식 출시됐다. 처음엔 할리우드 작가들과 배우들의 반응도 나쁘지 않았다. 그러나 출시 이후 한 달도 되지 않아 작가들과 배우들의 파업이 시작됐다.

이 솔루션이 AI가 작가들을 대체하기 위해 만든 것은 아니었다. 그러나 AI는 파업 당시 작가들의 주요 쟁점었다. 일부 작가들은 AI 기반 창작 솔루션을 계속 선호했지만 상당수는 공개적으로 사가를 포함한 AI창작 솔루션을 비판했다.  선의였지만 타이밍이 좋지 않았던 셈이다. 이에 사이버필름은 지출을 줄이고 다시 회사를 빌드업했다.

[독립 스튜디오에 메이저급 제작 능력을 제공]

러셀은 최근 사가의 새로운 핵심 기능으로 ‘스토리보드(storyboarding)’를 추가했다. 스토리보드는 입력하는 스토리에 따라 스토리보드 이미지를 만들어주는 기능이다. 작가들이나 프로듀서들은 이를 보고 실제 촬영에서 씬(Scene)을 상상할 수 있다.

개발하려는 모든 장면에 대해 완전히 렌더링된 스토리보드 이미지를 만들 수 있다.사가의 목표는 독립영화제작자나 유튜브, 틱톡 크리에이터들에게  메이저 스튜디오급 팀(major studio to any indie filmmaker)을 제공하는 것이다.  러셀이 AI가 할리우드를 민주화할 것이라고 말한 것도 바로 맥락이다.

사가는 작가 협업 파트너나 대본 의사처럼 각본을 풍부하게 만드는 역할을 수행하고 있다. 사가는 할리우드 창작자들 사이, 서서히 자리를 잡고 있다. 할리우드를 대체하는 것이 아닌 조력자(assistant)로서의 역할로 인정 받고 있다.

[파업 이후 주목도 더 높아진 생산성 향상 AI]

할리우드 작가들과 배우들의 파업이 끝나고 2024년 초부터 밀렸던 많은 작품 제작이 다시 진행되고 있다. 지난해 파업때문에 많은  작품이 제작이 지연됐거나 엎어졌다.

영화 미나리와 TV시리즈 ‘워킹데드(Walking Dead)에 출연해 한국에서도 인지도가 높은 한국계 배우 스티븐 연(Steven Yeun)도 촬영이 예정됐던 마블의 ‘썬더볼트(Thunderbolts)’를 포기했다. 스티븐 연은 버라이어티 인터뷰에서 “나 역시 마블 영화를 찍고 싶었지만, 배우 작가 파업으로 인해 스케쥴이 꼬였다”고 설명했다. 2023년 6월 촬영 예정이었던 썬더볼트는 5월 시작된 작가 협회 파업때문에 아직 촬영 날짜를 못잡고 있다.

어느때보다 작업 현장의 생산성과 효율이 중요시되고 있다.  이런 맥락에서 AI프로덕션은 과거 어느때보다 더 주목을 받고 있다. AI더빙이나 AI편집 등도 마찬가지다. Deepdub,ElevenLabs, Resemble AI, Papercup 등 AI더빙 솔루션들은 용도가 넒어지고 있다.

오디언스 역시, AI가 만드는 스토리나 배우 등에 대한 관심은 높은 편이다. 물론 아직은 AI제작 콘텐츠를 돈을 주고 보겠다는 층은 낮지만 점차 높아지고 있다. 만약, AI가 만든 초고와 할리우드급 마무리 투수(작가)가 협업할 경우 큰 시너지가 날 수 있다.

CES2024에서도 할리우드와 TV제작 현장을 바꾸고 있는 AI기술과 트렌드가 대거 소개된다. 많은 세션들과 전시가 있지만 결론은 결국 두가지다.

AI를 이용해 돈을 버는 방식이 달라지거나 혹은 AI를 활용한 제작 방식 변화다. 이중 1월 8일 오후 2시 디지털 할리우드 트랙(유료)에서 열리는 ‘버추얼 휴먼: 할리우드CGI To Generative AI Video&Chatbots’는 후자다.

영화와 소셜 미디어 서비스 등에서 활동하고 있는 디지털 아바타의 미래를 논의한다. 이외 많은 AI콘텐츠 관련 세션들이 준비되고 있다. 10일 오후 3시 버라아이티 엔터테인먼트 세밋에서 열리는 ‘The Tipping Point for AI’는 AI가 엔터테인먼트,미디어 산업을 어떻게 바꾸고 있는 지를 알아본다.

참고로 잠깐의 예고편을 말하지면 다이렉트미디어랩이 보는 ‘AI와 엔터테인먼트’의 미래는 협업이다. AI는 사람 없이는 발전하기 어렵다. 뉴욕타임스와 오픈AI 간 소송을 봐도 이를 알 수 있다. 그리고 우리는 이제 AI와 함께 살아야 한다. 이는 피할 수 없는 현실이다.