런웨이 CEO"AI는 촬영 감독이 아닌 카메라"

2018년 크리스토발 발렌주엘라(Cristobal Valenzuela)가 런웨이(Runway)를 공동 설립했을 때만 해도 AI가 배우와 작가를 대체할 수 있다고 생각하는 사람들은 거의 없었다.

런웨이는 AI로 비디오를 만들어내는 ‘AI이미지, 비디오 제작 솔루션’ 스타트업이다.  당시만해도 생성AI(Generative AI)가 일반화되기 전이기 때문이다.

생성AI는 주어진 명령에 따라 텍스트, 이미지, 비디오를 만들어내는 AI로 2022년 11월 챗GPT 등장 이후 전산업을 흔들고 있다. 2023년 런웨이도 전혀 다른 위상을 가지게 됐다.

하지만, 런웨이는 할리우드가 AI 침투에 민감하게 반영하면서 논란의 중심에 섰다. 사람이 없어도 영상, 이미지를 만들어내는 능력은 작가, 콘텐츠 제작자, 편집 전문가 등을 긴장시키고 있다.

로봇이 할리우드를 점령하는 것을 상상하는 이들도 늘었다.

작가와 배우 조합의 동시 파업도 AI가 자신의 자리를 대체할 것이라는 두려움에 기인한다. 동시에 AI가 도입되면 고비용 제작 구조가 해결되고 시장을 민주화시킬 것이라는 희망론도 나오고 있다.

런웨이는 미국 뉴욕대학교(NYU) 인터랙티브 텔레커뮤니케이션 프로그램(Interactive Telecommunications Program) 졸업생들(Cristóbal Valenzuela, Anastasis Germanidis,  Alejandro Matamala-Ortiz)들이 창업했다.  AI기술을 이용해 텍스트나 이미지를 비디오로 전환하는 툴(Gen)을 공급하고 있다.

젠은 사용자가 명령하면 오리지널 이미지의 백그라운드나 피사체를 없애거나 변형시킨 뒤 새로운 합성 이미지, 영상을 만들어낸다. 젠에는 AI텍스트-이미지 변환 오픈 솔루션 ‘스테이블 디퓨전(Stable Diffusion)이 탑재되어 있다. 런웨이는 젠으로 만든 가짜 피자집 광고(faux pizza restaurant)가 유튜브 유행을 타면서 유명해졌다.

이후 런웨이는 영화 ‘Everything Everywhere All at Once’의 고비용 특수 효과 작업을 AI로 간편하고 저렴하게 수행해내면서 입소문을 탔다

타임은 2023년 6월 런웨이를 ‘가장 인상적인 100대 기업 중 하나’로 꼽기도 했다. 크리스토발 발렌주엘라 CEO는 타임 인터뷰에서 “지난 150년 간 우리를 지배한 많은 스토리들은 영화나 이미지를 어떻게 만드는지에 대한 하나의 아이디어에서 시작했다”며 “우리는 완전히 새로운 패러다임에 진입했다”고 강조했다.

[AI는 제작 현장을 민주화시킬 것인가?]

기술 발전은 늘 방송 콘텐츠 업계를 민주화시킬 것이라는 기대감을 불러온다.

특히, 디지털, 3D, 메타버스 등 영상 분야 기술 혁명은 독립 콘텐츠 제작자들에게 거대 메이저 스튜디오와 경쟁하기 쉬운 구도를 만들어줄 것이라는 환상을 불러왔다.

더 적은 비용으로 높은 퀄리티의 콘텐츠를 만들 수 있을 것이라는 기대감 때문이다.거대 시스템이 맡았던 그래픽 작업도 이제는 개인 노트북이 담당할 수 있다. 그러나 기술 발전과는 달리, 이런 희망은 실현되지 않았다. 기술이 발전할 때마다 메이저 스튜디오들은 더 많은 자본과 더 큰 프로젝트를 만들면서 독집 PD, 제작사들을 압도했다.

그렇다면 AI는 다를 것인가?

발렌주엘라 CEO는 최근 세마포와의 인터뷰에서 엔터테인먼트에서 AI의 역할과 미래 방향을 전달했다. 이 글은 런웨이 소개와 세마포 인터뷰 일부를 번역해 전달한다.

질문(세마포) 런웨이는 영화 ‘Everything Everywhere All at Once’ 작업 이후 대중에 많이 알려졌다. 이 영화는 촬영 일정으로 짧았고 예산도 적게 들었다. 물론 AI기술 때문이다.

답(발렌주엘라 CEO) ‘에브리싱 에브리웨어 엣 올 원스’는 요즘 가장 좋아하는 영화다. 하지만 런웨이는 이 영화 중 몇 장면만 만들었다. 가장 큰 매력은 저예산 영화라는 것뿐만 아니라 편집팀도 7명에 불과했다는 것이다.

예전에 이 영화 에디터와 채팅을 했었다. 그는 아바타 에디터들과 만나고 있었다.  아바타 편집자들은 영화에 이렇게 적은 인원이 투입됐고 오스카상을 받았다는 것에 놀라워했다.

런웨이의 특징은 집 컴퓨터를 쓰고 있는 사람이나 혹은 주요 프로덕션 스튜디오에서 누구라도 사용할 수 있는 도구라는 것이다. 크리에이터에서부터 메이저 영화 제작사까지 런웨이에 모두 관심을 보이고 있다.

업계 관계자들에게는 (런웨이 기술은) 새로운 것은 아니다. 이미 많은 영화들이 기술을 기반으로 만들어졌다. 토이스토리(Toy Story)는 컴퓨터 그래픽 영화다. ‘쥬라기공원’의 공룡도 실제가 아니다. 마블 영화들은 CGI로 만들어졌다. 소프트웨어로 판타지 세상을 만들고 스토리를 전개할 수 있다는 사실은 새롭지 않다.

하지만, 다른 것 중 하나는 이런 작업 투입 시간이 점점 줄어든다는 것이다. 분명 이는 흥미로운 일이다. 왜냐하면 그것은 사람들을 더 빨리 움직일 수 있게 해주고 더 빠른 속도로 그것을 할 수 있게 해주기 때문이다.

그리고 AI는 이런 기술을 쓸 수 있다고 상상하지 못한 사람들을 위한 기술이다.  진짜 파괴적인 혁신 기술의 포인트는  더 편리하고 더 접근 가능하고 사용하기 더 편하게 작업 환경을 만드는 것이다.  런웨이와 같은 도구를 사용하면, 스토리텔링을 더 편리하고 쉽게 구현할 수 있다.

질문(세마포) 지금 벌어지고 있는 할리우드 파업에 대해서는 어떻게 생각하나. 런웨이가 (스스로) 영상 스토리텔링을 만들 수 있다면, 작가나 배우들이 자신들은 파업을 하고 나중에 이 툴을 이용해 작품을 만들 수 있나?

답: 나도 배우나 작가들의 우려에 동의한다. 대중들도 AI를 둘러싼 불신을 가지고 있다. 그러나 예술은 늘 인공적(Artificial)이었다. 우리는 오래전부터 세상을 시각화하기 위해 도구를 사용해왔다. 예술은 단순한 도구가 아니라 과정이다.  기술 발전으로 예술이 죽을 것이라고 상상한 것은 AI가 처음은 아니다.

사람들은 사진기가 등장했을때도 그림이 죽을 것으로 예상했다. 버튼만 누르면 순간을 기록할 수 있기 때문이다. 그러나 사진 기술 발전에도 그림은 죽지 않았다. 예술가도 사진 등장 이후 사라지지 않았다. 오히려 많은 엔터테인먼트 테크놀로지들은 예술을 강화시켰다. 기술의 힘을 이용해 예술가의 능력을 확장하고  크리에이티브한 매체들도 등장했다.

질문 AI가 배우들에게도 도움이 될까?  AI는 배우들의 복제하고 그들의 역할을 완전히 바꿀 수도 있다.

답: 사진술(Photography)은 사진이 산업으로 발전 가능하다는 생각을 만들어 냈다. 사진은 배우와 모델 등을 키운 산업이 됐다. AI도 현재 컴퓨터 그래픽과 시각 디자인 기술을 더 강화시킬 수 있다. 나는 영어를 (원어민처럼) 잘 하지 못하고 문법적인 오류도 많지만, AI를 활용하면 이를 극복할 수도 있다. 배우들도 마찬가지로 본다.

질문: 그런데 배우 안토니오 반데라스(Antonio Banderas. 할리우드에서 활동하는 스페인 배우)가 목소리를 바꾸기로 결정했다고 상상해 봐라. 그것은 예술가로서의 궤적을 완전히 바꾸는 것일 수 있다.

답: 그의 독특한 발음과 억양이 안토니오 반데라스를 팬들에게 특별하게 만드는 이유인 것을 안다. 그래서 AI에서도 우리는 악센트를 제거하지 않을 것이다. 하지만 예술가로서 자신을 발전시킬 기회가 없었던 안토니오 반데라스에 대해서도 생각해보라. 안토니오 반데라스에게 AI가 새로운 기회를 줄 수도 있다. 만약

이런 가능성이 존재한다면, 우리는 AI로 영화의 황금기를 만들 수 있다.(the golden era of cinema) 전에 생각해본 적 없던 새로운 타입 영화와 콘텐츠, 스토리가 나타날 수 있다. 이 드라마는 믿을 수 없을 정도로 자유롭고 독특하고 창의적일 수 있다.

질문: 런웨이 사용해본 고객들의 반응은?

답: AI이미지 생성 솔루션을 내놓은 이후 얼마전 ‘젠2(Gen2)’로 업데이트했다. 젠2는 명령에 따라 최대 18초 길이의 영상을 만들 수 있다. (이전에는 4초 정도) 유명 음악 아티스트가 런웨이를 써서 자신의 다음 싱글 앨범을 낸 것을 봤다.

할리우드 영화 제작자들은 런웨이를 스토리보드 작성에 사용하고 있다.런웨이를 이용해 영화 촬영 장소나 소품을 영상으로 만들고 상상하고 있다. 기존, 이런  작업을 하기 위해선 애니메이션(애니메이션 스토리보드)을 만들어야 했다. 그러나 이 작업만 일주일 걸린다.

이제 텍스트나 사진을 런웨이에 넣고 명령어를 입력하면 수 분 안에 스토리보드가 만들어진다. 이후 어떻게 움직일지 어떻게 보일지 지시하면 된다. 실제 영화에서도 런웨이의 방향대로 찍을 수 있다. 이미 런웨이를 이용해 만든 훌륭한 단편작들이 있다. 40초 비디오에서부터 10분까지 다양하다.

질문: 런웨이와 고가 CGI시스템 사이 차이는?

답: 런웨이의 기술을 규정하는 가장 쉬운 방법은 ‘런웨이’를 새로운 카메라로 생각하는 것이다. 제임스 카메론과 같은 유명 감독은 물론 카메라를 이용해 작업을 한다. 영화는 한 대의 카메라로 만들어지지 않는다. 여러 카메라와 렌즈, 툴, 편집 소프트웨어 등 매우 많은 시스템이 필요하다. 하나의 도구가 모든 것을 지배하는 제작 현장은 없다. 우리가 아티스트, 제작자들과 이야기를 하면 여러 가능성이 도출된다. 또 실험은 예술과 영화 제작의 핵심 요소다.

새로운 카메라는 이전에는 할 수 없었던 것을 가능하게 한다.  애니메이션 영화를 만들거나 폭발, 자연스러운 움직임을 만드는 작업(기록, 시뮬레이션 또는 생성이 매우 어려운 것)이 훨씬 더 뛰어나고 빨라졌다. 런웨이도 이런 프로세스에서의 적용이 가능하다. 그러나 나는 런웨이가 기존 작업을 대체할 것으로 보지 않는다. “새로운 기술이 있고 내 작업에 작용하기 시작할 수 있다”는 단순한 논리에 적합하다.

질문: 런웨이가 카메라라면  어떤 장면을 찍는데 적합한가? 잘하는 것은 무엇인가?

답: 자연 환경이나 현상을 포착하는데 매우 탁월하다.  

자연 묘사는 인간에게 매우 어렵다. 무작위성과  엔트로피가 존재하기 때문이다. 그러나 런웨이는 물, 나무, 나뭇잎, 하늘, 모래, 먼지, 구름 묘사에서 정말로 뛰어나다. 또 SF영화의 기술적 한계도 극복할 있다. 로봇과 우주선을 만드는데 런웨이는 탁월하다. 우리는 이런 카메라를 이용, 많은 놀라운 일들을 하고 싶어하는 영화 제작자들을 찾고 있다.

질문: 런웨이를 실험하면서 사람들의 작업에도 변화가 있나?

답: 물론이다. 모든 예술은 반복(iteration)이다. 런웨이가 편집 감독의 역할을 하는 현장이 점점 늘고 있다.

콘텐츠 제작 비용이 거의 들지 않는 세상에서 우리는 무엇이든 만들 수 있다. 제작보다 중요한 것은 이런 작업들을 어떻게 합치냐댜. 마치 박물관 큐레이터처럼  아티스트를 선정하고 적절한 위치에 배치하고 주변에 이야기를 전달하는 것은 ‘전시의 가치’를 한 단계 높인다. 런웨이가 그런 역할을 할 수 있다.

질문: 영화의 시대에도 큐레이팅을 했다. 편집실 작업(cutting room floor)이라고 말하는 것이다. 런웨이는 이런 편집 작업과 무엇이 다를까?

답: 런웨이와 같은 비파괴적인 편집(non-destructive editing)을 쓰면 많은 시도를 할 수 있다.  우리는 빠르고 힙합처럼 움직이는 영화 ‘레퀴엠(Requiem for a Dream)’ 몽타주도 만들었다. 기존  편집 기술로는 불가능하다. 이런 결과를 얻기 위해 많은 실험을 했다. 런웨이의 가장 흥미로는 기능은 이미지로 비디오를 만드는 것이다.(image to video) 사진을 찍고 지금까지 촬영한 적이 없는 카메라 각도로 비디오를 만들 수 있다.

질문: 편집자들만 런웨이를 사용하나? 배우들이 이 기술을 사용할 수 있을까?

답: 배우, 영화 제작자, 작가, 화가 등 우리가 예술가라고 말하는 이들은, 모두 런웨이를 이해하고 사용할 수있다. 비디오로 비디오를 만드는 작업은 모두가 흥미로워할 수 있다. 직접 자신의 비디오를 찍고 비율을 조정해 다른 비디오 포맷으로 바꿀 수 있다. 실제 많은 배우들이 이런 작업을 하는 것을 봤다.

질문: 디즈니 플러스에서 방송된 ‘Light and Magic’을 봤나?(조지 루카스 ILM 다큐)

답: 정말 그 다큐를 좋아한다. 첫 번째 에피소드 중 리포터가 당시 ILM에 근무했던 애니메이터 리더에게 ‘특수효과 전문가’가 된다는 것은 뭘 의미하는가?라고 묻는 장면이 있다.(‘what does it mean to be a visual effects person?’) 답은 ‘사람들을 만들어 낸 역할(Like, this is a role you just came up with guys)’. 이것이 무슨 의미일까. 아마 40년 전과 같은 방식으로 새로운 시각 효과를 구현하는 아티스트가 등장할 것이다.

한편, 구글(Google), 엔비디아, 세일즈포스 등 이른바 AI를 이끄는 빅테크들도 런웨이(Runway)에 1억 4,100만 달러를 투자했다.

2023년 3월 ‘텍스트 비디오 변환’ AI모델 ‘젠2(Gen-2)’를 공개했다. 현재 런웨이 홈페이지에서 유무료 버전 ‘젠2’를 직접 경험해 볼 수 있다. 원하는 방향의 텍스트나 이미지를 입력하면 4초 분량의 영상을 자동으로 만들어준다. 그러나 아직은 미국 콘텐츠 이외 다른 영역은 어색하다.