방송서 AI가 가장 필요한 곳은 ‘포스트 프로덕션’(The TV industry's biggest need for AI is in 'post-production')

Jung Han

2024년 5월 5일

AI was front and center at NAB2024 show, the broadcaster, content industry and entertainment technology show. Broadcasters, entertainment companies, and creators visiting the show expressed a strong interest in applying AI to their work today to increase efficiency. At the same time, they want to keep humans focused on creative work. AI and services that can be utilized for content creation and distribution were also introduced.

However, many attendees at the NAB2024 show in Las Vegas were still conflicted. Despite the emergence of generative AI that has the potential to change the content industry, such as Sora, which turns text into video, there are still many questions about how AI can be used in our work.

Many agreed that while AI is being used in TV and content Production, there is no AI that can take over the entire process of creating, editing and delivering content to audiences. However, many agreed that AI can play a big role in reducing costs and improving the quality of work in post-production, which refers to the post-production of content. Some viewed post-production, including dubbing, music production, and editing, as the first area where AI will be applied.

NBA2024 show showcased a number of cutting-edge entertainment technology companies that are applying AI to post-production.

AI content creation startup Strada is one of the companies focusing on post-production. Strada has raised $1.9 million in pre-seed funding.

The company is developing an AI-powered cloud platform for creatives with a simple interface and toolset to handle tasks such as syncing, tagging, transcribing, transcribing, translating, copying, copying, and transcoding. A beta version will be released later this year and is being developed to work with editing, color grading, and other creative tools.

Strada was winner of its 2024 Product of the Year Awards at the Las Vegas Convention Center. The awards recognize and celebrate the most significant and promising new products being exhibited at the Show.

The impact of AI on the creative industries was also a hot topic on the floor. <AI is at the center of the ongoing labor negotiations between the IATSE and the Alliance of Motion Picture and Television Producers, following last year's high-profile writers' and actors' strike.

Ultimately, creators want AI to "increase their ability and willingness to create while minimizing the negative impacts of job losses, copyright infringement, and other negative effects. In Hollywood, AI is being applied to post-production before production.

방송 콘텐츠 엔터테인먼트 전시회 NAB2024에서 AI는 중심이었다. 현장을 방문한 방송, 엔터테인먼트 기업, 크리에이터들은 AI를 지금 적용 업무에 적용해 효율성을 높이는데 많은 관심을 표현했다. 동시에 인간은 창의적인 업무에 집중하겠다는 생각이다. 콘텐츠 제작과 유통에 활용할 수 있는 AI 과 서비스도 대거 소개됐다.

그러나 라스베이거스 NAB2024 참석한 많은 이들은 여전히 갈등이 있었다. 텍스트를 비디오로 만들어주는 소라(Sora) 등 콘텐츠 산업을 바꿀 가능성이 있는 생성AI가 등장했지만, 여전히 ‘AI가 우리 작업에 어떻게 쓰일 수 있을 지’에 대한 고민이 많았다.

많은 이들은 AI가 방송, 콘텐츠 제작에 쓰이고 있지만, 아직은 ‘콘텐츠를 창작하고 오디언스들에게 전달하는 모든 과정을 맡을 AI는 없다’는 데 생각을 같이했다.

하지만, 콘텐츠 제작 후 후반 작업을 의미하는 ‘포스트 프로덕션’에서 AI는 비용을 줄이고 작품의 퀄리티를 높이는데 큰 역할을 할 수 있다는 의견들이 많았다. 더빙, 음악 제작, 편집 등 ‘후반 제작(Post Production)’이 AI가 가장 먼저 적용될 분야라고 보는 시각들도 있었다. 포스트 프로덕션에 AI를 접목한 최첨단 엔터테인먼트 테크놀로지 기업들은 NBA2024에서 대거 선보였다.

이와 함께 AI가 창작 산업에 미치는 영향도 현장 화두였다. AI는 지난해 첨예하게 진행됐던 작가와 배우 파업에 이어 현재 IATSE와 영화 및 텔레비전 제작자 연합(Alliance of Motion Picture and Television Producers) 간 이루지고 있는 근로 조건 협상에 가장 중심적인 소재다.

결국 창작자들이 바라는 AI는 “창작 능력과 의지는 높이고 일자리 감소, 저작권 침해 등 악영향을 최소화하는 기술’이다. 이에 할리우드에서 AI는 프로덕션보다 포스포 프로덕션에 먼저 적용되고 있다.

[아무도 하고 싶어하는 업무를 책임지는 AI]

영상 제작 과정에서 후반 작업(Post Production)은 매우 중요하다. 그렇지만, 동기화, 태그, 색보정 등 창의력보다 업무량이 업청난 작업들을 의미하기도 한다.

AI 제작툴(AI Production Tools) 스트라다(Strada)은 후반 제작(포스트 프로덕션)에 집중하는 스타트업 중 하나다. 스타라다는 콘텐츠 제작 및 후반 작업에서 필요한 툴을 담은 AI지원 클라우드 플랫폼( ‘스타라다AI’)을 개발하고 있다.

‘스타라다AI’ 를 이용하면 클라우드 플랫폼에서 콘텐츠 동기화(syncing), 태그 지정(transcribing), 전사(transcribing), 번역(translating), 복사(copying), 트랜스코딩(transcoding) 등을 할 수 있다. 올해(2024년) 말 베타 버전이 출시될 예정이며 다른 영상, 음악 제작툴과 연동될 수 있도록 개발 중이다.

공동 창업주 마이클 치오니(Michael Cioni)는 할리우드 리포터와의 인터뷰에서 “AI테크놀로지와 현실 작업 환경(워크플로우)에 기반을 둔 새로운 회사를 세팅하고 있다”며 “우리는 AI가 창작 워크플로우에서 번역, 편집 등 아무도 하고 싶어하지 않는 영역을 똑같이 가치있고 강력하게 만들 것이라고 믿는다”고 말했다.

할리우드 대표 엔터테인먼트 테크니션인 마이클 치오니는 스트라다 창업을 위해 어도비를 그만뒀다. 스트라다는 190만 달러의 프리 시드 펀딩을 유치했다.

치오니 CEO NAB2024 쇼에서 'AI가 할리우드 제작 작업에 어떻게 적용되고 있는 지'를 연설했다. 스트라다는 NAB 주최 측으로부터 '최고의 제품상'을 받기도 했다. (Asset Management)

[창작에 더 많은 시간을 쓰게 하는 툴]

결국 치오니가 생각하는 스트라다는 트랜스코딩(transcoding), 전사(transcribing), 사운드 동기화(syncing sound), 자막, 더빙(subtitling and dubbing) 등 후반 제작을 자동화할 수 있는 ‘알라 카르테 방식 클라우드 마켓 플레이스다 알라 카르텔 방식의 클라우드에서는 사용자들은 원하는 기능만 자신의 툴에 담을 수 있다. 그는 “편집자, 음악 감독, VFX 감독들이 바로 일할 수 있도록 유틸리티로 진행하는 모든 작업(주로 어시스턴트가 수행했던)이 결국 자동화될 것"이라고 설명했다.

마이클 치오니는 편집(editing), 컬러 그레이딩(색보정, color grading) 등 창작의 메인이 되는 툴은 제공할 계획이 없다고 강조했다. 오히려 전문가들은 자신들이 쓰는 기존 툴을 계속 사용하면서 후반 작업에 스타라다의 도움을 받을 수 있다. 치오니와 형제인 CFO 피터 치오니(Peter Cioni)는 “전체 작업이 클라우드를 통해 이뤄지면 크리에이터는 창의력에 더 많은 시간을 집중할 수 있다”고 덧붙였다.

[기존 인력들을 활용도를 높이고 생산선을 높이는 AI에 주력]

AI가 어시스턴트 등의 일자리에 위협이 되지 않느냐는 질문에 마이클 치오니는 “우리의 작업은 일자리의 창의적인 요소(creative components of jobs)에 집중하는 것이다. 창작자들이 창의적인 일에만 집중하고 비창의적인 장벽에 가로막히거나 지체되지 않도록 하기 위해서 툴을 개발했다”며 “현재 일자리를 없애는 것이 아니라 기존 인력을 활용하고 생산성을 높일 수 있도록 하는 것”이라고 설명했다. 어시스턴트들을 비창의적인 업무가 아닌 창의 업무를 돕는데 투입할 수 있도록 지원한다는 것이다.

소라와 런웨이와 같은 혁신적인 생성AI툴은 ‘콘텐츠 제작 질서’를 바꿀 수 있다. 하지만, 지금 우리에게 필요한 것은 창작자들에게 큰 가치(생산성 향상, 창의 작업 지원)를 제공하는 AI툴이다. 실제 2023년 비즈니스 인사이더가 조사한 자료에 따르면 ‘창작자들이 AI를 이용하는 이유 중 1위가 ‘속도를 높이기 위해서’였다.

마이클 시오니(Michael Cioni)는 NAB2024 현장에서 “스트라다와 같은 실용적인 도구가 영화 제작자에게 가장 큰 가치를 제공할 수 있다고 믿는다”며 “소라(Sora)나 미드저니(Midjourney) 등은 실제 사용 사례가 줄어들고 있다고 생각한다”고 설명했다. 오픈AI의 CEO 샘 알트먼은 MIT리뷰와의 인터뷰에서 “AI를 '모든 것을 완벽하게 알고 있는 유능한 동료'처럼 만들고자 하는 것이 목표”라고 말했다.

형제인 마이클과 피터 치오니는 기존 회사(엔터테인먼트)를 그만두고 스트라다 창업에 이르는 과정을 유튜브(1. I Quit My Job - YouTube Starting a Startup)에 담고 있다. 2023년 4월부터 시작한 이 유튜브를 통해 치오니 형제는 회사와 비즈니스 모델을 알려왔다.

마이클 시오니는 할리우드 포스트 하우스 ‘라이트 아이런(Light Iron)’의 창립자이며 파나비전(Panavision)과 가장 최근에는 어도비에서 2021년 인수한 프레임닷아이오(Frame.io) 클라우드 플랫폼 개발을 담당했다. 프레임닷아이오는 클라우드 기반 영상제작협업 플랫폼이다.

프레임닷아이오는 NAB2024에서 협업 기능을 강화한 버전4를 내놨다. 전체 콘텐츠 제작 과정에서 복잡한 협업을 간소화하고 표현력이 더 풍부한 피드백, 협업 기능 등이 강화됐다고 밝혔다. 새로운 버전은 캐스팅, 로케이션 스카우트, 영상 검토 등 포스트 프로덕션 워크플로우를 넘어 이미지, 디자인, PDF 파일 등 다양한 콘텐츠 포맷과 연동된다. 파나비전은 전략적 파트너로서 스트라다를 지원하고 있으며, CEO인 킴 스나이더(Kim Snyder)가 스트라다의 자문위원회에 합류했다.

비선형 영상편집기 ‘미디어 컴포저(Media Composer)’로 유명한 아비드(Avid)도 AI를 포스트 프로덕션 플랫폼에 적극적으로 삽입하고 있다. 아비드는 사모펀드인 STG 계열사에 14억 달러에 인수됐다.

아비드는 미디어 컴포저(Media Composer), 프로툴(Pro Tools), 미디어 중앙화 시스템(Media Central) 등 자사 핵심 제품에 AI를 탑재, 효율성을 높이는 것을 목표로 하고 있다. AI 음성-텍스트 변환 기능은 아비드 미디어 컴포저에 이미 탑재되어 있다.

아비드는 NAB2024에서 아비드 솔루션에 탑재되어 있는 다양한 AI기술을 소개했다.

아비드 미디어 컴포저(Avid Media Composer)의 문구검색AI(PhraseFind AI) . 스크립트싱크AI(ScriptSync AI), 아비드 미디어센트럴(Avid MediaCentral의 얼굴 감지 및 장면 인식(facial detection and scene recognition), 트랜스크립션 서비스 및 추천 엔진 미리보기(preview of transcription services and recommendation engines 등) 등이 시연됐다. 웹 기반 ‘미디어센트럴(MediaCentral | Cloud UX)에서 편집하는 기자가 기사를 쓰고 더빙한 다음 기사와 일치하는 관련 영상을 식별하도록 AI를 학습시키는 기능도 공개됐다.

아비드는 AI툴 개발 시 인간 전문가가 가이드를 제공하는 휴먼 인 더 루프(human-in-the-loop approach) 접근 방식을 쓰고 있다. 이를 통해 생성AI의 편향성을 막고 창의성과 효용성을 가속화하고 있다.

[대화형 AI 창작 모델을 NAB2024에서 소개]

아비드의 AI 기술 개발은 아비드는 인간의 영감과 AI를 조합하는 방식으로 이뤄진다. 아비드의 NAB2024의 핵심은 ‘대화형 AI 창작 모델(AI conversational creation)’이다.

아비드 CTO 케빈 라일리(Kevin Riley)는 AI를 사용해 사용자의 '의도'를 파악하고 일일이나 아카이브 영상 등을 추천하는 프로토타입 기술을 검토 중이라고 밝혔다.

이 프로젝트 중 하나로 아비드는 AI비서 에이다(Ada)를 개발하고 있다.

아비드 에이다는 워크플로우를 더욱 효율적으로 만들고 창작 작업을 강화하는데 도움을 주는 AI 디지털 어시스턴트다.

에이다의 가장 큰 특징은 중복 작업을 AI 처리해 인간 작업자는 콘텐츠 제작과 전달에 집중할 수 있도록 하는 것이다. 이를 통해 창작 프로세스를 향상시켜 준다.

아비드는 NAB2024에서 에이다의 일부 기능을 시연했다. 데모에서는 아비드 에디아가 AI 기술을 활용하여 음성-텍스트 변환, 요약, 언어 번역을 자동화하는 방법이 공개됐다.

라일리는 버라이어티와 인터뷰에서 “ ‘에이다(Ada)와 사용자에게 다음 작업에 대한 팁을 제공할 수 있다”며 “AI비서와 함께 일하는 대화형 창작(conversational creation)라고 부르는 모델로 나아가고 있다”고 설명했다. 라일리 CTO는 전문가들이 콘텐츠 제작 데일리(Daily) 및 기타 기존 자산에 에이다를 이용할 것이라며 대신 소라를 자사 제품에 통합할 계획이 없다고 말했다.

AI를 통한 콘텐츠 제작 효율성 향상에 많은 관심이 쏠리고 있다. 3월 NRG의 조사에 따르면 크리에이터의 51%가 AI가 사람들의 생산성과 효율성을 높여줄 것이라고 믿고 있었다.

개발툴 중 일부는 사용 방법에 따라 할리우드에서 사용되는 기존 워크플로우를 변경해야 할 수도 있다. 아비드는 미디어 컴포저 편집 시스템 (Media Composer editing system)에서 더빙이 가능한 기능을 개발 중이다. 앞으로 프로세스를 더 단순화할 수 있다.

[AI도입으로 인한 우려 및 트렌드 변화]

앞으로 포스트 프로덕션 작업에서 AI는 더 많은 역할을 할 것으로 보인다. AI의 속도가 빨라지고 처리하는 일도 더 많아질 수도 있다. 장기적으로는 더빙실과 같은 시설에 대한 수요도 완전히 바꿀 수도 있다. 콘텐츠 제작에 사용되는 AI도 늘고 있다.

비즈니스 인사이더 조사에서 콘텐츠 제작에 사용하는 AI의 대부분(90%)은 챗GPT였다. 2위는 미드저니(MidJourney) (31%), 구글 바드(Google Bard, 19.7%), 일레븐랩스(Eleven Labs 16.1%), Stable 스테이블 디퓨즌(Diffusion 11.2%), 비드(Veed.io 9.6%), 런웨이(Runway ML 8.2%), 클라우드Claude (4.2%), 퍼플렉서티 Perplexity 3.9%) 등이었다. 이 조사는 크리에이터 나우가 크리에이터, 2000명을 대상으로 AI사용 정도와 용도를 조사한 결과다.