2023 엔터테인먼트 테크놀로지 핵심은 'AI'

Jung Han

2023년 4월 12일

2022년 엔터테인먼트 테크놀로지 3대 뉴스

스트리밍-이머시브 내러티브(IMMERSIVE NARRATIVES)

공간 오디오(spatial audio), 볼륨 비디오 캡처(Volumetric Video Capture), 햅틱(hatics) 등은 우리에게 행동을 느끼게하고 우리를 스크린에 참여할 수 있게 한다.

단지 콘텐츠를 보는 것이 아니라, 기기 등을 통해 더 몰입한다. 몰입형 이야기(Immersive Narratives)는 스트리밍이 단지 보는 것에서 우리의 후각이나 촉각 등으로 포함한 공감각을 통해 이야기를 느끼게 한다는 것이다. 햅틱 조끼나 라스베가스 MSG sphere 등이 대표적이다. CES에서도 VR을 통해 후각을 경험할 수 있는 OVR테크놀로지가 인기였다

개인화된 콘텐츠(Personalized content)

영화와 드라마 등 각본 작성에는 챗GPT(ChatGPT, OpenAI), 드라마트론(Dramatron, DeepMind), 노벨AI(NovelAI), 수도라이트(Sudowrite) 등의 AI도 적극 사용되고 있다.

AI 공동 창작을 통한 연극제 올라간 적이 있다. AI 각본 작성 툴을 이용하면, 시나리오의 기초를 잡는데 유용한 것으로 알려졌다. 일정 수준 인간의 조력 없이도 다양한 스토리를 만들어낼 수 있다. 특히, 정해진 규칙이 있는 다큐멘터리와 같은 장르에 적합하다. 촬영 장소나 캐릭터, 플롯 아이디어, 혹은 특정한 장면에서의 대화를 빠르게 생성할 수 있다. 물론 창의력은 또 다른 문제다.

스트리밍-매시브 인터랙티브 라이브 이벤트(Massive Interactive live events Miles)

매시브 인터랙티브 라이브 이벤트(Miles), 게임과 TV의 중간단계의 콘텐츠다. TV콘텐츠처럼 몇 주에 걸쳐서 이야기가 전개되지만 이용자들은 라이브 스트리밍 중에 콘텐츠와 교감할 수 있다. ‘수동적인 시청자에 능동성을 부여하는 것이 목표다.’ 새로운 경제도 만들어 낸다. 젠 릿(Jen lit), 워킹데드 라스트 마일스(walking dead last mile)은 15만 명 시청자를 불러오기도 했다.

2020년 12일 마일즈 분야 의미있는 시도가 있었다. 페이스북 워치에서 ‘라이벌 피크(rival peak)’라는 콘텐츠가 방송된 것이다. 리얼리티TV쇼를 모방한 포맷인데, AI 캐릭터들을 미국 퍼시픽 노스웨스트(Pacific Northwest)의 지역(애니메이션 버전) 배치했다. 오디언스는 이들 캐릭터들이 곤경에 빠지고 도전하는 과정을 지켜볼 수 있게 됐다. 일종의 서바이벌 게임 드라마의 AI버전이다. 캐릭터의 행동에도 영향을 미칠 수 있다.

‘라이벌 피크’는 게임과 리얼리티 TV쇼를 융합한 새로운 콘텐츠 포맷을 보여줬다는 평가를 받았다. 생존 경쟁을 벌이는 12개 캐릭터의 행동과 스토리 라인은 시청자들의 참여와 개입에 의해 영향을 받게 된다. 공개 직후 방송은 물론 게임업계의 많은 관심을 이끌어 낸 라이벌 피크를 움직이는 핵심 기술은 AI였다. 라이벌 피크는 기존 모델링된 AI외 여기에 실시간으로 이루어지는 시청자들의 참여가 동시에 영향을 미치도록 AI 엔진을 수정했다. AI 기술을 이용해 보는 게임 트렌드를 잘 공략했다는 평을 받았다.

개인화된 콘텐츠와 마찬가지로 협업적 스토리텔링은 소비자들과 크리에이터들에게 새로운 자세를 요구한다. 수동적이나 적극적인 행동이 아닌 양 쪽을 적절히 가미한 ‘하이브리드 행동’이다. 또한 스트리밍 기간 TV게임에 몰입된 소비자들은 이에 파생된 콘텐츠에 더 집착할 가능성이 높다.

(참고).

https://www.facebook.com/RivalPeak/videos/992139464609700/

스트리밍-디지털 셀럽

생성형 AI가 등장하면서 할리우드에서는 디지털로 만들어진 셀럽도 자연스러워졌다. 타이 세리던은 VFX아티스트 니콜라 토모로빅(Nikola Todorovic)과 함께 AI를 이용해 모션 캡처를 쉽게 하는 기업 원더 다이내믹스(Wonder Dynamics)를 창업했다.

셰리던과 토모로빅은 SXSW2023 세미나 ‘: Understanding the Role of AI in Reshaping the Film & Television Industry’에 참석했다. 원더 다이내믹스는 배우들의 이전 영상에서 AI를 이용, 몸짓과 특징을 추출해 움직이는 새로운 피사체를 만들어낼 수 있다. 셰리던 CEO는 SXSW에서 “이제 무겁고 우스꽝스러운 모션 캡처 복장을 입을 필요가 없다”고 전했다.

유명 TV프로그램 ‘아메리칸 갓 탤런트’나 톰 크루즈의 특징을 담은 딥페이크 영상으로 명성을 얻은 메타피직(Metaphysic)은 2023년 2월 할리우드 유명 연예기획사인 CAA와 전략적 파트너십을 맺었다. 전략적 파트너십의 일환으로 두 회사는 메타피직의 AI 노화 방지 툴(AI de-aging tool) ‘Metaphysic Live을 톰 행크스와 로빈 라이트가 출연하는 미라맥스의 차기작 영화 ‘히어(Here)’에 적용하기로 했다.

메타피직은 CAA와의 파트너십을 시작으로 AI를 내세운 할리우드와의 협업을 강화할 방침이다. 미국 대형 연예기획사인 CAA가 작은 스타트업과 손잡은 이유는 ‘AI를 이용한 생성형 콘텐츠 제작’ 등 이른바 AI기반 엔터테인먼트 테크놀로지의 확장성이 매우 크기 때문이다. 엔터테인먼트, AI, 생성적 콘텐츠는 우리 모두를 만족시키는 보다 개인적인 시청 경험을 만들 수 있다.

스트리밍-AI 지원 창작(AI-Assisted creativity)

미국 작가 협회(WGA)는 AI를 보조 작가로 쓰는 것을 허용했다. 다만, 엔딩 크레딧에 올리거나 저작권을 나눠주는 것은 금지다.

챗 GPT가 출시된 이후로 AI는 창의력을 도왔다. 현재 잭GPT(JACT GPT) 등 창의 산업에 영향을 미치는 다양한 AI 도구가 있다. 텍스트뿐만 아니라 사운드, 프로덕션 디자이너, 헤어,분장 등에도 AI가 쓰이고 있다.

스트리밍 AI생성 보이스

AI생성 보이스에는 두 가지 방법이 있다. 기존 목소리를 만들어내는 것과 새로운 합성 목소리를 창작하는 것. ‘탑 건 매버릭’에서 발 킬머가 연기하는 아이스맨은 소난틱이라는 기업이 만들어낸 합성 보이스다.

AI보이스 클로닝(AI Voice Cloning)은 배우들의 실제 음성에 기반한 ‘합성 목소리’도 자연스럽게 만든다. 현존하는 오디오나 비디오 텍스트에 기반해 AI앵커에게 새로운 노래를 부르게 할 수 있다. 베리톤(Veritone)과 같은 서비스는 영어를 한국어 등 116개 언어로 자연스럽게 번역할 수 있다.

미국 캘리포니아 산타모니카 플로우리스(Flawless)는 원본 영상 촬영 후 배우들의 입 움직임과 얼굴 표정을 편집하는 딥페이크 스타일 툴을 개발에 집중하고 있다. AI기술이 적용된 이 툴을 이용하면 더빙 없이도 배우들이 다른 나라 언어로 말하는 장면을 자연스럽게 연출할 수 있다.

또 심의 연령에 맞춰 언어 수위도 조절 할 수 있다. 실제 풀로우리스는 성인등급(R) 영화 ‘가을(Fall)’을 AI툴을 통해 13세 등급으로 순식간에 전환시켰다. 또 더빙을 위한 합성 인간 보이스를 만들어내는 AI 스타트업 페이퍼컵(Papercup)은 어떤 언어로도 콘텐츠를 볼 수 있게 하는 것이 목표다.

예술-창작성에 대한 보호(Protecting Creativity)

AI는 저작권을 가지는가? 그렇다면 누구에게 귀속되는가?. 미국 저작권 법은 기계의 저작권을 인정하지 않지만, 인간의 노력이 상당히 가미됐다는 것이 증명되면, AI의 저작권은 인정될 수 있다.

영국 런던에 본사를 두고 있는 AI테크 스타트업 메타피직(Metaphysic)의 CEO 톰 그레이엄(Tom Graham)가 신청한 AI 생성 이미지가 미국 저작권청의 ‘저작권 등록(Copyright Registration)’성공했다. 그레이엄은 AI를 이용해 자신의 비디오를 만들었고 저작권위원회는 이를 저작물로 인정했다. 이로써 그레이엄은 자신의 유사성(AI likeness of himself)에 대한 저작권을 법적으로 인정 받은 첫 번째 인물이 됐다. 악시오스가 보도한 이 사건은 빠르게 성장하는 생성형 AI와 관련한 저작권 비즈니스에 영향을 줄 수 있다는 점에서 매우 의미가 있다.

만약 AI 저작물에 대한 저작권 인정이 적극적으로 이뤄진다면 ‘창작 산업’의 판도는 완전히 바뀔 수 있다. 저작권법 상 저작물로 인정받기 위해서는 작품이 창의성을 갖추고 실질적 유사성에 대한 판단을 내릴 수 있어야 한다.

예술-극장 퓨전 극장(Fusion Theater)

극장 사업자 ‘fix and Foxy’는 6명에서 10명 정도의 사람에게 오디오로 역할을 지정하는 경험을 제공했다. 참가자들은 극장 아닌 집에서 이어폰을 통해 역할을 전해듣고 이야기를 따라갔다.

독일 베를린에 본사를 두고 있는 ‘갓 스쿼드(Gob squad)’는 관객이 상영되는 영화에서 배역을 맡을 수 있는 인터랙티브한 경험을 만들어냈다. 게스트가 영화를 만들어내는 것인데 ‘라이브 무비’라고 부를 수 있다.

미국 LA기반 스타트업 ‘텐더 클래스(Tender Class)’는 가상환경(VR)에서 디지털 몰입형 모험(digital immersive adventures)을 만들어낸다. 오디언스는 버추얼 등장인물들 사이에서 디지털 세계를 직접 경험할 수 있다.

예술(Art)-버추얼 리얼리티 콘서트

가상공간(VR)은 콘서트 장으로도 변한다. VR공연을 보기 위해서는 실제처럼 특정 시간과 날짜에 열리는 공연 티켓을 구매해야 한다. 가상 공연장에 들어가면 볼륨 비디오를 통해 캡처된 밴드나 가수의 공연이 등장한다. VR 콘서트의 장점은 시간에 구애받지 않고 추가 수익을 창출할 수 있다는 점이다. 또 공연 기회를 잡기 어려운 소규모 밴드들이 새로운 관객들에게 접근할 수 있는 기회를 제공할 수 있다. 하지만 더 확산되기 위해선 기술은 더 자연스러워야하고 비용은 더 싸져야 한다.

예술(Art)- AI 생성 순수 예술

2022년 콜로라도 아트 페어에서 AI작품이 상을 받은 사건과 코스모폴리탄(Cosmopolitan) 잡지가 2022년 처음으로 AI생성 잡지 커버를 게재한 사실이 큰 이슈가 됐다. 이들 사건 이후 저작권 문제가 붉어지고 있다. 어떤 기업은 AI와 싸우고 다른 진영은 AI를 적극적으로 포용하고 있다. 게티 이미지는 AI 기반 이미 생성 플랫폼 스테이블리티(stability)를 저작권 위반으로 고소했다. 또 사진 유통 플랫폼 셔터스톡은 오픈AI와 협업해 콘텐츠를 만들고 있다. WSJ 등 언론사들도 AI가 만들어내는 정보에 대한 저작권 위반 조사에 들어갔다.

어뮤즈먼트 파크(Amusement Park)-로밍 이머시스 엔터테인먼트(경계 없는 엔터먼트 경험)

파크 방문객이 헤드폰, 헬맷, 센서, 마이크로폰, 트랙커 등 자신의 모든 감각을 측정할 수 있는 기기를 탑재하고 테마파크를 온몸으로 느끼는 트렌드가 현실이 되고 있다.

무료 로밍 몰입형 체험이자 집단적 체험인데 스티븐 스필버그와 아이맥스도 투자한 기업 드림스케이프(Dreamscape)가 몰입형 관람 관련 기술을 제공하고 있다.

어뮤즈먼트 파크-관람 보조 로봇

로봇들은 오랫동안 테마 파크에서 공연로봇 등 애니매트로닉스로 형태로 활용됐다. 하지만, AI 시대, 테미파크에서 새로운 용도 로봇들이 개발되고 있다. 관람객들을 돕거나 대신 경험을 해주는 로봇들이다.

일본의 한 스타트업이 원격 방문을 도와주는 줄 수 있는 로봇을 개발했다. 이 로봇에는 사용자가 집에서 원격 조정할 수도 있고 카메라도 있다.

디즈니는 관람 보조 로봇 개발에 한 창이다. 디즈니의 관란 보조 로봇은 길을 찾아준다는 의미로 ‘ 로버트 셰르파’다. 이에 에 대한 특허도 출원했다. 기본적으로 움직이는 사물함 시스템이다. 손님들을 따라 공원을 돌아다니며 물건을 보관하는 것이다. 유니버설은 먹을 수 있는 소프트 로봇 시스템에 대한 특허를 출원했다.

어뮤즈먼트 파크-직관적 최적화(Intuitive optimization)

테마파크의 ‘개인화된 관람 경험’을 실행을 위한 투자가 계속되고 있다.

디즈니는 자신이 좋아하는 캐릭터와 고객의 상호작용을 최적화하기 위해 노력 중이다. 또 디즈니랜드 파크 방문시 손에 차는 매직밴드 플러스에 연결하는 지니 AI와 음성AI 알렉사와 연동되는 헤이 디즈니(Hey Disney)를 출시했다. 디즈니 호텔 객실에는 디즈니랜드용 알렉사가 설치된다.

고객은 미키마우스 등 인기 디즈니 캐릭터의 목소리로 대화를 나눌 수 있다. 편의시설 소개부터 농담까지 다양한 요청에 대한 처리가 가능하다. AI 비서로 직원과의 대면 횟수가 줄어드는 효과도 있을 듯하다. 디즈니는 또 스트리밍 디즈니+와 디즈니랜드 사이 데이터를 교환해 개인 맞춤형 관람을 추천한다.

디즈니와 유니버설 모두 웨어러블 기기를 통해 개인 데이터를 받아 ‘개인 선호도’를 알 수 있게 특허를 출원했다. 유니버설은 메타와 테마파크의 개인 경험을 보다 고도화하는 서비스를 만드는 계약을 체결했다.

어뮤즈먼트 파크 하나의 오디언스 경험

테마파크는 XR 기술 등 물리적인 공간을 가상 공간으로 확대해 고객들의 몰입도와 상호 교감도를 높이고 있다. 특히 물리적인 공간과 디지털 공간을 연결해 ‘고객을 계속 잡아두는 전략’을 쓰고 있다.

고객들은 매번 다른 경험이 펼쳐지기 때문에 계속해 방문하고 싶은 욕구가 생긴다. 디즈니에 있는 스타워즈 배경 호텔을 방문하면 모든 공간이 스토리와 어울린다. 호텔, 레스토랑, 크루저에서도 이야기가 펼치진다. 게스트들은 배우들과 함께 적극적으로 이 시설에 참여하고 실제로 밤을 보낸다.

Newsletter

디지털 시대, 새로운 정보를 받아보세요!