It's early March 2024, and South by Southwest (SXSW) is happening in Austin, Texas, US. For a boundary-breaking entertainment and technology festival, the scene was shocking. In a good way.

The spirit of SXSW is to bring together unlikely people, companies, and technologies to create markets that never existed before. In particular, the Creative Industries Expo, which runs for three days on the first floor of the Austin Convention Center, is the pinnacle of SXSW.

It showcases products and services that bring imagination to life. At Expo 2024, there was no shortage of companies using AI, metaverses, virtual studios, and other technologies to make their content more immersive and monetize it.

Companies and organizations ranging from the U.S. Army, Japan's TBS and Nippon TV broadcasters, a studio in South Africa, Austin, Texas-based Virtual Production, and Honda had booths packed with entertainment technology. The success of SXSW's Creative Industries Expo is hard to quantify, but the lasting impact of the event is likely to shake up the entertainment industry in 2024.

In particular, the Korean entertainment technology companies that appeared on the scene, such as PozaLabs, Brush Theater, Aria Studio, and Grampus, created a long-lasting ripple effect. This led to the expectation that K-entertainment will spread globally through technology.

SXSW is an industry. The boundary-breaking exhibition generates more than $300 million (KRW 460 billion) in economic impact each year.

The Korea Creative Content Agency (KCCA) announced that the Korean Pavilion at SXSW generated a total of 199 business consultations and export consultations worth $16.61 million (KRW 21.9 billion), confirming the potential of K-content and entertainment technology.

2024년 3월 초 미국 텍사스 오스틴에서 열린 사우스바이사우스웨스트(SXSW). 경계를 허무는 엔터테인먼트 테크놀로지 축제인 만큼, 현장은 충격 그 자체였다. 물론 신선한 충격이다.

전혀 어울리지 않을 것 같은 사람이나 기업, 기술이 만나 전에 없던 시장을 만드는 것이 SXSW의 정신이다. 특히, 오스틴 컨벤션 센터(Austin Convention Center) 1층에서 3일 동안 진행된 크리에이티브 인더스트리 엑스포(Creative Industries Expo)는 SXSW의 절정이라고 볼 수 있다.

상상력을 현실로 만드는 제품이나 서비스가 전시되기 때문이다. 2024년 엑스포에도 AI, 메타버스, 버추얼 스튜디오 등의 기술을 바탕으로 자신들의 콘텐츠에 몰입도를 높이고 새로운 수익을 만드는 기업들이 현장에 대거 나왔다.

미국 육군, 일본 TBS, 닛폰TV 방송사, 남아프리카공화국의 스튜디오, 텍사스 오스틴에 위치한 버추얼 프로덕션, 혼다까지 다양한 기업과 단체들이 엔터테인먼트 기술을 가득 담은 오프라인 부스를 만들었다. SXSW 크리에이티브 인더스트리스 엑스포의 성과는 숫자로 입증하기 어렵다. 그러나 이 행사가 만드는 잔상은 2024년 엔터테인먼트 업계를 뒤흔들 가능성이 높다.

특히, 포자랩스, 브러쉬 씨어터(Brush Theatre), 아리아스튜디오(Aria Studio), 그램퍼스(Grampus) 등 현장에 등장한 한국 엔터테인먼트 테크놀로지 기업들은 또 긴 파장을 만들었다. K엔터테인먼트가 테크놀로지를 타고 글로벌로 확산될 것이라는 예상을 하게 한 것이다.

[미 육군에서 아마존 북스까지 한자리에]

크리에이티브 인더스트리스 엑스포는 최첨단 기술, 디자인, 사회적 공익, 건강, 웰빙 등 모든 산업이 융합된 행사다.  그래서 단순히 테크놀로지가 뛰고 기능이 좋다고 해서 높은 평가를 받는 것은 아니다.

시장과 사회를 변화시킬 테크놀로지가 이 곳에서는 주인공이다. 때문에 SXSW가 행사에 참가할 기업이나 서비스를 선택하는 기준은 하나다  “22세기 이후를 이끌어갈 브랜드, 서비스 및 제품’이다.

엑스포 현장에서 전 세계 수백 개의 전시업체는 모여 열정을 불태우고, 협업하고, 획기적인 발견을 공유한다.(Hundreds of exhibitors from across the globe meet under one roof to ignite passions, collaborate and share groundbreaking discoveries.) 그래서 크리에이티브 인더스트리스 엑스포는 작지만 강하다.

2024년 엑스포에도 수백개가 넘는 기업이 오스틴 현장을 찾았다. 오전 9시부터 오후 4시까지 단 4일간 열리는 이 행사 방문객은 많지 않았다. 그러나 방문객들의 부스당 체류 시간과 몰입도는 여타 행사보다 훨씬 높았다. 컨벤션 밖에 위치한 각 국가별 기업별 하우스(House)에서 본 기술을 물어보는 이들도 많았다.

올해(2024년) 크리에티브 엑스포의 특징은 ‘모든 이들을 위한 콘텐츠 플랫폼’이라고 볼 수 있다.

또 엔터테인먼트 테크놀로지 기술들이 비즈니스 모델을 위해 한 발 더 다가갔다는 느낌도 있다. AI기술의 우수성을 그대로 가지고 온 기업들은 거의 없었다. 모두 AI가 자신들의 플랫폼이나 서비스에 어떻게 녹아들어갔는지를 증명했다.

(3225) Honda UNI-ONE at SXSW: Redefining Mobility with XR - YouTube

버티고 픽처스(Virtigo Pictures)는 모든 크리에이터들이 사용할 수 있는 ‘버추얼 프로덕션(Virtual Production)을 들고 나왔다. AI와 언리얼 엔진(Unreal Engine) 기술을 이용해, 작업 현장을 현장을 통제하고 비용을 현실화한다.

가상현실(VR)과 모빌리티(Mobility)가 만나면 확장현실(extended reality)이 된다. 혼다모터스는 혼다는 모빌리티의 즐거움과 가상현실(VR) 모험을 결합한 최초의 확장현실(XR) 경험을 SXSW 2024에서 공개했다. VR를 통해 핸즈프리 개인용 모빌리티 기기인 혼다 ‘유니원(UNI-ONE)’을 실제로 타는 경험을 통합한 것이다. 쉽게 말해 VR헤드셋을 쓰고 가상 공간에서 좌회전을 하면 실제 현장에서도 유니원이 같은 방향으로 움직이다. 많은 관람객들의 와우 포인트를 경험한 것이 사실이다. 방문객들은 유니원을 타기 위해 길게 줄을 섰다.

[버추얼 휴먼 아닌 버추얼 아티스트’]

SXSW 크리에이티브 인더스트리스 엑스포에서는 한국 K콘텐츠 기업은 주인공이었다. SXSW 크리에이티브 인더스트리스 엑스포(Creative Industries Expo)에는 2개의 한국관이 설치됐다.

하나는 K메타버스관이고 문화체육관광부와 한국콘텐츠진흥원이 운영한 한국공동관이다. 하나는 메타버스가 매개였다 다른 하나는 AI와 주된 기술이었지만 결국 이 둘은 ‘K콘텐츠 기업’이라는 공통점으로 연결됐다. 물론 두 전시장 모두 물리적인 공간도 전시장 한가운데였다.

AI기술을 기반으로 메타버스(Metaverse)에서 활동할 이들은 누구인가?  스튜디오 메타케이(Studio Meta K)는 SXSW현장에서 자신들의 AI 가상 아티스트 '이아(iaaa)' 제작 발표회를 열었다. 시즌(Season)이라는 컨셉트로 봄 여름 가을 겨울을 상징하는 버추얼 아티스트들이 각자의 음반과 뮤직 비디오로 4월 데뷔 한다. 스튜디오메타케이는 자체 제작한 AI 버추얼 아티스트 그룹 '시즌'(SEASON)’은 처음부터 음악 공연이나 방송 프로그램에서 활동하는 컨셉트로 기획됐다.

두번째 멤버 수비(Suvi)가 지난 3월 5일 방영된 MBC 'PD가 사라졌다'에 특별 MC로 출연하기도 했다.  'PD가 사라졌다'는 AI 기술로 만들어진 프로듀서 'M파고'가 MBC 입사 후 예능 PD가 되어 직접 프로그램을 연출한다는 콘셉트로 기획된 사회 실험 프로젝트다. 스튜디오메타케이 관계자는 "독자적 기술을 이용, 사실적 표현에 신경 쓴 결과 기존 딥페이크 기반 버추얼 휴먼이 구현하기 어려운 동작들을 자연스럽게 보여줬다"고 설명했다.

SXSW현장 메타케이 부스는 방문객들로 가득찼다. 특히, K콘텐츠에 관심이 높은 일본 기업 관계자들의 발길이 이어졌다. 사람처럼 자연스러운 모습과 행동을 보여주는 버추얼 아티스트에 대해 많은 찬사가 나왔다.  김광집 스튜디오 메타케이 대표는 “이제 우리에게는 버추얼 휴먼을 넘어 버추얼 아티스트가 필요하다”며 “새로운 기술은 새로운 비즈니스를 만들 수 있는 힘이 있어야 한다”고 말했다.

AI음악은 인간 작곡가를 대체할 수 있을까? 음악은 SXSW의 핵심 테마다. 밴드들의 음악 공연도 하우스나 호텔 1층에서 벌어지고 음악을 중심으로 한 비즈니스도 계속 벌어진다. 2024년 SXSW는 AI 음악이 지배했다. 주어진 명령에 따라 이미지, 비디오, 오디오를 만들어내는 생성AI(Generative AI)는 음악 업계도 강타하고 있다. SXSW 크리에이티브 인더스트리즈 엑스포에서는  AI를 이용한 음성 복제, AI음악 밴드 등 오디오와 AI가 만나는 다양한 지점이 논의됐다.

국내 대표 AI음악 스타트업 포자랩스(Pozalabs)는 사우스바이사우스웨스트(SXSW)를 지배했다. 포자랩스는 현장에서  AI 음악 생성 서비스 '라이브(LAIVE)' 오픈 베타를 공개했다. 개인이 PC로 간단히 자신만의 음악이나 노래를 만들 수 있는 서비스다. 라이브는 대규모 마케팅 없이 출시 한달 만에 가입자 1만3천000명, 회원 가입 후 음원 생성 전환율 78%를 기록했다.

작곡 지식이 전혀 없는 비전문가도 음악 장르와 분위기를 선택하고, 간단한 키워드를 입력해 가사를 생성하면 5분 만에 나만의 음악을 만들 수 있다. SXSW포자랩스 부스를 방문한 이들은 자신들의 주문대로 나오는 노래를 들으며 즐거워했다.

포자랩스는 “기존 AI 음악 생성 서비스는 음악, 가사 또는 보컬만 따로 생성해 주는 데 반해, 라이브는 음악, 가사, 보컬을 한 번에 합성해, 실시간으로 음악을 생성한다는 점이 차별 포인트”라고 말했다. 특히, 포자랩스가 독자적으로 구축한 음원 데이터만을 학습시켜 모델을 개발했기 때문에 저작권과 표절 문제가 발생하지 않는다고 설명했다.

BTS의 하이브(HYBE)는 AR과 XR 기술을 활용한 BTS 콘서트 영상으로 방문객을 사로 잡았다. AI오디오 테크놀로지 기업 슈퍼톤의 TTS기술을 적용,  투모로우바이투게더 <ACT : SWEET MIRAGE> 콘서트 속 언어를 현지 언어로 더빙한 콘텐츠를 전시해 눈길을 끌었다. 테크놀로지로 무장한 하이브는 우리나라 엔터테인먼트 기업 최초로 2023년 연매출 2조 고지에 올랐다. 하이브는 2월  실적발표 컨퍼런스 콜에서도 수퍼톤의 오디오 기술을 적용했다.

하이브는 스타트업 뉴토(NEWTO)와 협업해 하이브 소속 아이돌 ‘투모로우바이투게더(TXT)’의 실감 포토존을 운영해 바이어 뿐 아니라 SXSW에서 참가한 K-팝 팬들에게 더 큰 인기를 끌었다.

이모션웨이브(Emotionwave)는 협업해 새로운 콘텐츠를 만들어낸다는 SXSW의 정신을 현장에서 구현해냈다. 이 회사는 메타버스와 AI, 블록체인 등 엔터테인먼트 테크놀로지를 모두에 진심인 스타트업이다.

이모션웨이브는 SXSW 전시회에서 AI 메타버스 공연 플랫폼 'MUTA(뮤다)'를 시연했다. 전용 애플리케이션을 탑재한 태블릿PC를 대형 디스플레이에 연결해 이용자들이 AI메타버스 공연과 방송 콘텐츠를 경험하게 했다. 참석자들은 AI와 메타버스가 만나는 경험에 활용해했다. 아울러 현장 부스에 설치된 ‘뮤타 밴드 마스터(Muta Band Master)’는 모든 이들이 발길을 잡았다. 자신과 AI 로봇 악기의 라이브 합주가 가능한 플랫폼이다. 특히, 악기 초심자들도 코드를 따라가면서 기타를 연주할 수 있었다.

K메타버스관에 위치했던 소울엑스(SoulX)는 크리에이터들이 공간 제약 없이 자신들이 원하는 콘텐츠를 만들 수 있는 초실감형 솔루션을 내놨다. XR 라이브 스튜디오인  ‘엑스룸(XROOM)’은 실시간 3차원 가상공간 영상 합성 프로그램이다. 회의실 구석 등 간단한 공간만 있으면  차별화된 가상 공간 스토리텔링이 가능하다.

황영택 소울엑스 대표는 현장 “다양한 스토리텔링 방식으로 XR을 활용하는 플랫폼 개발을 통해 사람들의 창작에 소통을 더하고있다”며 “X룸은 지속적으로 새로운 AI기술을 적용하고 있어 사용자가 보다 편리하고 안정적으로 콘텐츠를 창작할 수 있는 통합형 플랫폼으로 발전하고 있다”고 전했다. X룸은 현장에서 해외 크리에이터들의 많은 질문을 받았다.  엑스룸은 2023년 상용화 이래 대구온라인학교(대구시교육청), 질병관리청, 영상 크리에이터, IP사업자 등 국내 기관 및 기업, 개인을 대상으로 서비스 범위를 점차 넓혀 가고 있는 중이다.

아리아스튜디오는  SXSW부스에서 생성형 AI 기반 버추얼 캐릭터 '우시아(URSIA)'를 비롯한 아리아스튜디오의 콘텐츠 제작 기술을 대거 선보였다. 아리아는 인터랙티브(interactive) 기술을 중심으로 창작자와 팬이 함께 참여할 수 있는 ‘몰입형 엔터테인먼트 플랫폼’의 시장 가능성을 보여줬다.

SXSW에 공개된  AI 캐릭터 '우시아'는 실시간 시청자와 소통이 가능한 ‘인터랙티브 캐릭터다’. 게임이나 영화, 드라마 등 다양한 콘텐츠에서 활약이 가능하다.

시간과 장소에 구애받지 않고 동작하며 24시간 스트리밍 방송에도 투입될 수 있다.  아리아스튜디오는 생성형 AI기반 콘텐츠 제작 기술, 콘텐츠 특화 sLLM인 CBM(Character Behavior Model) 등도 회사가 보유한 자체 기술도 소개했다. 아리아스튜디오의 인터랙티브 드라마 '아파트'는 몰입형 비주얼로 많은 사람들의 주목을 받았다.

[SXSW 2024, 한국 엔터테크 스타트업 219억 원 상담액 기록]

SXSW는 산업과도 가깝다. 경계를 허무는 전시회는 매년 3억 달러(4,600억 원) 이상의 경제적인 효과를 만든다. 한국콘텐츠진흥원은 SXSW에서 한국공동관 운영을 통해 총 199건의 비즈니스 상담과 수출 상담액 1,661만 달러(한화 약 219억 원)를 기록하며 K콘텐츠와 엔터테인먼트 테크놀로지의 가능성을 다시 한번 확인했다고 밝혔다.

콘진원의 한국공동관에는 ▲하이브 ▲아리아스튜디오 ▲뉴토 ▲그램퍼스 ▲스튜디오메타케이 ▲브러쉬씨어터 ▲벤타브이알 ▲이모션웨이브 ▲브레인테크 ▲아이디어링크 등 10개 기업이 참가했다.

브러쉬씨어터는 홀로그램과 멀티 프로젝션 맵핑, 서라운드 음향 등을 활용한 이머시브 뮤지컬 <그래비티 스페이스>를 선보였다. 아리아스튜디오는 AI 기반 버추얼 캐릭터 <우시아(URSIA)>를 벤타브이알은 전 세계 K-팝 팬들을 위한 3D VR 콘텐츠 앱 <벤타엑스>를 전시했다.

그램퍼스의 BTS IP 활용 시뮬레이션 게임 <BTS쿠킹온: 타이니탄 레스토랑>과 브레인테크의 AI 보이스클론 <루시5>, 아이디어링크의 <스마트골프> 등도 소개됐다.  현장에서 아리아스튜디오와 인도네시아 AI 스타트업 간의 업무협약(MOU)을 비롯해 현장에서 총 3건의 업무협약이 체결되며 가시적인 비즈니스 성과를 보이기도 했다.

콘진원 유현석 부원장은 “K-콘텐츠가 신기술과 만나 미래 콘텐츠의 가능성을 선보이고 새로운 시장을 열고 있다”라며, “국내 우수한 콘텐츠 기업이 AI 등 기술 융합을 통해 경쟁력을 높이고, 해외 비즈니스 기회를 확대할 수 있도록 더욱 적극적으로 지원하겠다”라고 밝혔다.

2024년 3월 11일 전시장에서 열린 공식 컨퍼런스 ‘넥스트 스테이지’에서 <한국엔터테인먼트의 르네상스를 열다>라는 주제로 ▲스튜디오메타케이 ▲이모션웨이브 ▲브러쉬씨어터 ▲아리아스튜디오 4개 기업의 발표가 진행돼 한국의 콘텐츠산업이 기술과 만나 어떻게 발전하고 있는지 조망하는 자리가 마련되기도 했다.

한편, 글로벌 엔터테인먼트 시장은 생성 AI와 메타버스를 만나 더 깊어지고 넓어지고 있다.  버라이어티는 향후 5년 내 이미지 생성AI, 비디오 생성AI 관련 매출이 성장률이 각각 66%, 61%에 달 할 것으로 전망했다.

출처 버라이어티

엔터테인먼트 분야 창작 및 작업에서 생성AI를 사용하는 작업이 보다 효과적이라는 인식들도 확산되고 있다. 버라이어티가 지난 2023년 6월 500명이 넘는 할리우드 창작자들에게 질문한 결과 영화와 TV제작, 게임 개발, 스토리텔링 생성 등에서는 관련 생성AI툴이 효과적이라는 응답들이 절반을  넘었다.

출처 버라이어티