AI와 오디오... 어쩌면 잘 지낼지 몰라

스트리밍

2023년 5월 1일

[고스트 라이터가 남긴 AI]

유령작가, 즉 고스트라이터(Ghostwriter)가 만든 것으로 알려진 이 AI노래(heart on My Sleeve)는 전혀 단서를 남기지 않았다. 모방 트랙이 어떻게 만들어졌는지, 혹은 노래를 만들기 위해 프로그램에 어떤 정보가 입력되었는지에 대한 단서를 남기지 않았다.

그러나 2분 16초 길이 ‘하트 온 마이 슬리브’는 두 명 가수의 독창과 합창으로 이뤄져 있는 것으로 알려졌다.

가사는 2010년대 중반 위켄드와 데이트한 것으로 보도된 셀레나 고메즈에 대한 내용이다. 그러나 AI목소리 복제 대상으로 왜 이들 둘이 결정됐는지는 알 수 없다. 아마 최근 유니버설 뮤직 그룹과 드레이크가 AI 제작에 대해 반감을 보이면서 이에 대한 반감이었다는 주장에 힘이 실리고 있다.

UMG, AI 저작권 음악 요소 수집 금지 요청

2023년 4월 12일 유니버설 뮤직 그룹은 스포티파이, 애플 뮤직 등 메이저 스트리밍 서비스에 AI 회사가 음악의 멜로디나 가사를 긁어가는 것을 막아달라고 요청했다.

AI로 인한 저작권 침해 가능성을 차단하기 위해서다. 구글은 최근 AI로 텍스트를 음악을 만드는 MusicLM을 공개했다. 뮤직LM은 28만 시간 분량의 음악 데이터 세트를 보유하고 있다.

‘하트 온 마이 슬리브(Heart on My Sleeve)’는 2023년 4월 10일 공개됐는데 하루만에 16만 1,000만 사용자에 25만 3,900만 청취를 기록했다. 유튜브에서는 이틀 만에 19만 7,000뷰를 올렸다.

세계 최대 음악 스트리밍 플랫폼 스포티파이의 CEO 다니엘 에크도 실적 발표에서 이 상황을 설명했다. 에크 CEO는 “이름과 유사성 등에서 정말 중요하고 의미있는 토픽과 이슈는 정말 누가 권리를 가지고 있냐”라며 “우리는 혁신과 동시에 창작자를 보호하기 위해 최선을 다하고 있다”고 말했다.

유니버설 뮤직 그룹은 드레이크 이후 AI에 더 강경해졌다.

UMG CEO Lucian Grainge은 2023년 4월 26일 1분기 어닝콜에서 “인공지능의 제재 없는 성장을 방치한다면 우리가 원치 않은 콘텐츠가 넘쳐나고 미국과 뿐만 아니라 다른 국가에서 저작권법, 상표, 유사성, 음성, 사칭, 홍보 등을 담당하는 법과도 관리 문제를 야기할 것”이라며 “AI를 보는 방식이 어떻든, 과잉 공급은 좋지 않은 것이다. 아티스트에게 좋지 않고, 팬들에게도 부정적이고 우리 같은 플랫폼에도 악영향을 준다”고 강조했다.

(Any way you look at it, this oversupply, whether or not AI-created is, simply, bad. Bad for artists. Bad for fans. And bad for the platforms themselves)

[AI의 부상, 저작권 침해 지뢰밭]

AI의 등장이 나쁜 것만은 아니다. 특히 AI기술 발달에 따라 오디오 시장에서 AI테크는 부가 가치를 높일 수도 있다. 이미 많은 뮤직, 오디오, 팟캐스트 기업들이 AI를 통해 새로운 기회를 엿보고 있다. 오디오 산업에 테크가 접목된 사례는 많고 역사도 깊다. 지금 오디오 산업의 확산도 기술이 없으면 있을 수도 없다.

오디오와 AI에 더 주목하는 이유는 AI는 ‘오디언스에게 더 개인화된 경험’을 줄 수 있고 AI보이스 등과 같은 콘텐츠의 확장성을 넓혀줘 부가가치를 높일 수도 있기 때문이다.

그러나 AI의 부상(The emergence of AI)은 저작권 침해의 지뢰가 됐다. 유니버셜의 사례에서 보듯, 현재 AI 기술과 뮤직, 오디오 산업은 권리 관련 갈등을 일으키고 있다.

그러나 AI기술 접목 속도가 지나치게 빠른 만큼, 결국 우리는 공존을 모색할 수 밖에 없다. 인간의 손길(human touch)은 작품을 완성하고 부가가치를 높이는데 여전히 가장 중요하다.

그러나 팟캐스트 각본 작성과 같은 기초 업무를 AI에게 맡기게 되면 작업 시간과 비용, 리소스 사용이 대폭 줄어들 수 있다.

오디오 시장에서 AI 사용의 명백한 장점은 존재한다.

음악 외에도 작은 기업들은 AI를 이용해 대형 스트리밍 플랫폼(스포티파이 등)에서 두각을 나타낼 수 있다.

2023년 4월 19일에 열린 버라이어티 마케팅 서밋에서 한 참석자는 “AI의 도움을 받으면 작은 회사의 경우 카피나 광고를 만드는데 돈을 쓸 필요가 없다”며 “AI는 큰 규모의 팟캐스트가 가질 수 있는 노출도를 작은 돈으로 만들어줄 수 있다/ 일종의 셀프 서비스 기능을 제공하는 셈”이라고 설명했다.

엔터테인먼트 분야에서 AI의 적용은 아직 극복해야 할 산이 높다. 하지만 그들의 침투는 이미 시작됐다. 이제는 창작산업과 오디언스 모두가 이익을 얻을 있는 AI 기술 사용법을 찾는 것이 중요하다. AI에 대한 규제도 결국 소비자들을 위한 것일 수 밖에 없다.

[음악에서 AI 역할...완성형 보다는 보조적 위치]

음악 창작에서 생성형AI 소프트웨어는 글이나 이미지 AI에 대해 주목을 덜 받아왔던 것이 사실이다. 그러나 일부 단점만 개선된다면 산업 내 파급효과는 엄청날 것으로 보인다.

음악을 구성하는 요소들이 다양한 만큼, 툴과 모델도 종류가 많다. 노래 가사, 음악 작곡, 뮤지컬 작곡 제작, 클립, 문구나 사운드, 음성 복제(클로닝 혹은 노래 부르기, singing voices) 등에서 생성형AI의 확장성이 크다.

사실 이들을 조합하면 새로운 음악이나 앨범을 만들고 가수 녹음도 할 수 있다. 그러나 아직은 AI가 만든 100% 음악에 대해선 거부감이 크다. 이에 AI가 만든 음악은 완성보다는 영화, TV, 게임, 메타버스, 팟캐스트, 소셜 비디오 또는 광고를 위한 사운드 트랙 또는 테마로 활발하게 개발되고 있다.

음악 생성 모델(Music-generating models)는 보다 더 실제와 같은 뉘앙스를 만들기 위해 다양한 모델들과 교감하면서 더 의미있는 발전을 보이고 있다. 음악이 쓰지 않는 예술이나 콘텐츠가 없는 만큼, AI음악의 교감은 더욱 더 중요하다.

AI툴로 음악을 만드는 방식은 두 가지 정도로 구조화되어 있다.

만들길 원하는 장르나, 음악, 아티스트 등의 사전 옵션(preset option) 중에서 선택하거나 시간 멜로디, 코드 진행(chord progression)과 같은 짧은 음악 오디오 파일을 업로드해서 계속해 수정하는 방식이다.

예를 들어 AI 음악 제작 솔루션 AIVA에서 창작자들은 자신들이 미리 설정한 특정 장르 스타일로 작곡을 할 수 있다. 록(Rock)부터 팝, 일렉트릭까지 다양하다.

‘현대 영화 느낌’, ‘중국’ 등의 키워드로 장르를 만들어 작곡할 수도 있다. 혹은 다른 음악으로 바꿀 수 있는 특정 스타일 느낌을 업로드해서 노래를 만들 수도 있다.

2023년 1월 구글이 내놓은 뮤직LM(MusicLM)은 28만 시간의 음악을 학습한 AI 작곡 솔루션이다. 한 두 문장의 짧은 프롬프트나 30초 내외 간략한 노래 설명으로 훌륭한 샘플을 만들어낼 수 있다.

‌‌가사(LYRICS)

관련 AI: 텍스트: 챗GPT(오픈AI), Moises, WaveAI, 음악: Jukebox (Open AI), Dance Diffusion (Harmonai)

챗GPT와 같은 A 텍스트 생성기는 특정 톤이나 아티스트의 스타일을 모방하는 노래 기사를 손쉽게 만들 수 있다. 닉 케이브(Nick Cave)와 같은 많은 싱어송라이터들이 AI작사를 경멸하고 있지만 기술 수준은 인간에 가깝다.
모이세스(Moises)나 웨이브AI(WaveAI)와 같은 툴은 보다 음악 친화적이고 전문적이다.

전문가들도 작사에 이를 이용할 수 있다. 이들 솔루션은 사용자들이 무드나 장르 등을 담은 특정 프리셋 파라미터(preset parameters)를 만들 수 있게 한다. 또 작사가들이 운에 맞는 단어나 구절을 작성할 수 있도록 라인별로 AI의 추천을 받을 수도 있다.

모이세스는 사용자가 노래의 가사나 특정 악기와 같은 구성 요소를 제거해, 트랙을 따라 연주할 수 있도록 하는 AI 플랫폼이자 소비자 향 앱이다.

특정 노래에서 자신의 연주나 노래를 입힐 수도 있고 드럼을 제거해 명복에 자신만의 연주를 더할 수도 있다. 이런 작업들 모두 AI 디텍션(Detection)을 통해 이뤄진다.

사용자들은 각자 다른 분위기로 노래를 바꿀 수도 있다. 피치를 올리거나 템포를 늦출수도 있다. 회사는 또한 가사 편곡 툴(lyric-transcription tool) 기업용(B2B)서비스도 내놓고 있다.

팬데믹 이후 오디오를 부분으로 나누고 노래의 다른 부분을 해석하는 능력은 음악 세계에서 점점 더 중요해지고 있다. 모이시스는 2022년 사용자가 2,000만 명을 돌파했다.

아울러 오픈AI의 주크박스(Jukebox)나 하모나이(Harmonai)의 댄스 디뷰즌(Dance Diffusion, Stability AI)는 완성형 음악을 만들 수 있도록 구성됐다. 단독적으로 작곡도 하고 만들어진 음악에 가사를 첨부할 수 있다. 아직은 노래에 맞지 않는 가사를 만드는 등 완벽하지 않다.

음악 샘플(MUSIC SAMPLES)

관련 AI: Jukebox, MuseNet (OpenAI), Dance Diffusion (Harmonai), Amper, AIVA

일부 음악 생성 모델은 스타일에 따라 몇 초 부터 4분이 넘는 대작까지 간단한 샘플을 만들 능력이 있다. 최근 출시되는 모델들의 능력은 매우 다양하다. 많은 작곡가들은 이런 음악 샘플로 자신들의 오리지널 노래를 만들고 있다.

음악 제작 AI 플랫폼이 상당한 발전을 했지만 아직은 완벽하지 않다.

좋은 음악이나 다음 히트곡을 만드는 능력은 상당히 제한적이다. 오픈AI 연구자들은 ‘2020년 쥬크박스(Jukebox) 백서에서 후렴구를 만들거나 주문형 멜로디(question and answer melody)와 같은 이상적인 노래를 만들어내는 데는 성공하지 못한다고 밝히기도 했다.

또 현재로서는 이들 AI 플랫폼이 만든 음악 샘플이 실제 작곡가나 아티스트가 만든 작품에 완벽하게 믹스되지 못하고 있는 것도 사실이다. 하지만 시도는 계속되고 있다.

2023년 2월 DJ 데이비드 구에타(David Guetta)는 자신의 라이브 무대 공연 트랙에 래퍼 에미넴(Eminem)의 딥 페이크 음성을 포함시켰다.

생성형AI가 만든 작품에 대한 일반 소비자들의 인식도 개선되고 있다.

글로벌X가 2023년 2월 미국 성인 302명을 대상으로 조사한(온라인)바에 따르면 ‘생성형AI가 음악이나 뉴스 기사를 만들었을 때 어느 정도 신뢰를 하느냐’라는 응답에 미국인의 67%는 ‘일정 수준 신뢰한다’고 밝혔다.

AI음악은 불안하지만 희망도 있다는 이야기다

Newsletter

디지털 시대, 새로운 정보를 받아보세요!