우리는 반드시 AI 딥페이크로 인한 피해를 막아야 한다(We must prevent the damage caused by AI deep fakes)

Amid the ongoing Israel-Hamas war, Wendy McMahon, CBS News CEO, analyzed 1,000 war-related videos circulating on social media services. She stated that only 10% of these were of usable, with the rest being fake videos resembling deep fakes utilizing AI technology.

McMahon, speaking at the Axios BFD event, emphasized that while there are various reasons for this issue, some are directly linked to fake news. Currently, the U.S. Tv stations are experimenting with incorporating AI into news reporting, but they face challenges due to its potential misuse. After becoming the head of CBS in August 2023, McMahon made her first official appearance.

McMahon, as CEO, pointed out, "Deepfakes and fake news are entering the scene with an unprecedented level of sophistication and speed compared to the past." She further added, "media companies need to establish their own regulatory standards for AI and develop protocols to maintain credibility and protect their viewers. When it comes to AI, a very conservative approach should be taken." While the introduction of AI is anticipated to boost operational productivity, the damage it might cause also presents a realistic threat of diminishing trustworthiness. Generative AI misuse has already become a substantial societal issue. It seems necessary for each TV company to develop guidelines for AI usage and legal regulations to prevent potential harm.

이스라엘-하마스 전쟁이 이어지는 가운데  CBS뉴스 CEO 웬디 맥마흔(Wendy McMahon)은 소셜 미디어 서비스에 유통되는 전쟁 관련 영상 1.000를 분석했으며 이 중 쓸모 있는 것은 10% 뿐이라고 말했다.  나머지는 AI기술 등을 활용한 딥페이크와 같은 가짜 비디오라는 이야기다.

맥마흔은 악시오스가 진행한 이벤트(Axios BFD)에 출연해 이 같이 밝히고 많은 이유가 있지만 일부는 가짜뉴스와 직접적으로 연결된다”고 강조했다. 현재 미국 방송사들은 뉴스 보도에 AI를 적용하기 위한 다양한 실험 중이지만 오남용과 상대해야하는 어려운 상황에 놓여있다. 맥마흔은 지난 2023년 8월 CBS 대표에 오른 뒤 처음으로 공식 석상에 섰다.

맥마흔은 CEO는 “ 딥페이크와 가짜뉴스가 과거와는 달리 상상할 수 없을 정도로 정교하고 빠른 속도로 유입되고 있다”고 지적했다.

그녀는 또 “방송사들은 자신들 만의 AI에 대한 규제 기준을 만들어야 하며 신뢰성과 시청자들을 지키기 위한 프로토콜을 구축해야 한다”며 “AI와 관련해서는 상당히 보수적으로 접근해야 할 것”라고 설명했다. AI 도입으로 인해 업무 생산성 향상이 예상되지만, 동시에 AI주는 폐해가 신뢰도 하락으로 변질될 수 밖에 없다는 방송사들은 현실을 반영한 언급이다.

생성AI 오남용은 이미 상당히 큰 사회 문제가 되고 있다.  각 방송사 마다 AI 사용에 대한 가이드라인과 피해를 막을 수 있는 법적 규제도 필요 보인다.

[원본을 확인할 수 없는 딥페이크, 사회 문제로]

생성AI의 기술력이 진보하면서  이를 이용한 딥페이크(사람의 얼굴이나 유사성을 조작하는 것)의 심각성도 더 커졌다. 주어진 명령에 따라 텍스트, 이미지, 영상을 만드는 AI기술력은 이제 사람 수준까지 올라섰다.  때문에 실제 영상을 조작해 가짜 이미지(특히 얼굴 합성)를 구축하는 딥페이크(Deepfake)은 보다 교묘하고 자연스러워졌다.

유명인의 유사성에 대한 복제는 생성AI 등장 이후 피해가 확산되고 있다. 유명인들의 데이터는 온라인에 차고 넘치고 접근하기 쉽기 때문에, 셀럽들은 동의하지 않는 딥페이크(deep fakes)의 첫 번째 희생양이 될 수 밖에 없다.

소비자들을 대상으로 한 광고, 프로모션, 사기 등에 유명인의 시각적, 음성적 유사성(celebrity visual and voice likenesses)을 무단으로 사용한 사례는 점점 늘고 있다.

2023년 9월에만 톰 행크스, 게일 킹, 미스터비스트가 AI딥페이크에 대해 반대하는 목소리를 냈다. 이들은 모두 자신들의 유사성이 아무 관련없는 제품을 홍보하는데 도용된 경험이 있다.

생성AI의 오남용에 대한 엔터테인먼트 분야 종사자들의 우려도 커지고 있다. 유고브(YouGov) 조사에 따르면 2023년 9월 기준, 저작권 침해, 실직, 디지털 트윈 제작 악용 등의 문제가 걱정된 것이다.

업계 전문가 10명 중 7명이 생성AI가 음성 복제(Voice Clone)나 유명인들의 디지털 트윈을 (동의 없이) 만드는데 악용될 것이라고 지적했다. 우려도 77%에서 84%로 한 달 사이 7%나 늘었다.

또 다른 조사(MITRE-Harris Polly)에서 미국 성인들 사이에서  딥페이크나 다른 AI가 만든 콘텐츠는 미국 성인들의 주된 관심사다.

하지만, AI가 만드는 악의적인 사이버 공격(AI being used in malicious cyber attacks) 10명 중 8명(80%)에 달했다. AI기술들은 반드시, 규제되어야 하며 업계는 소비자들을 보호하기 위해 A안전에 투자를 해야 한다고 답한 것도 비슷한 비율로 지적됐다.  사이버 공격에 AI가 사용되는 것, 신원 도용, 그리고 잘못된 행동에 책임을 물을 수 없는  것 등에 대한 우려가 높았다.

유명인 딥페이크를 이용한 소비자 대상 사기는 주로 소셜 서비스를 통해 유포된다.

그러나 이는 다양한 사기 종류 중 하나일 뿐이다. 생성AI 기술이 발전하면 할수록 일반화되면 될 수록 사기 범죄에 악용될 가능성은 더 커진다. AI와 만난 사기 범죄는 스케일이 더 커지고 교묘해지고 있다. AI 사기에 대한 피해는 소비자들에게 직접 영향을 주고 유명인들의 평판에도 바로 좋지 않은 영향을 미친다.

2023년 4월 Better Business Bureau는 딥페이크 기술로 더 교묘해지는 유명인 사칭 사기에 대한 경보를 발동했다.

미국 연방 공정거래위원회(FTC)는 또한 AI로 인한 사기 피해를 경고했다. FTC는 블로그 포스트에서  AI의 의해 연애(Romance scam)나 금융 사기의 피해가 더 심해질 수 있다고 언급했다.  2023년 3월에도 FTC는 소비자 현혹 광고를 규제할 것이라고 광고주들을 대상으로 한 경고를 발동했다.

AI로 인한 사기 피해 데이터는 공식적으로 집계된 것이 없다.

하지만 FTC 조사한 바에 따르면 소비자 사기 피해는 소셜미디어에서 발생하는 경향이 압도적으로 높은 것으로 나타났다.  20~29세가 사기로 잃은 돈의 38%, 18~19세가 47%를 차지하는 것으로 나타났다.

2021년 이후 소셜 미디어에서 사기로 인해 발생한 소비자 피해들은  27억 달러에 달했다.  2023년 상반기 소셜 미디어 사기 중 대부분은 사기 구매(44%)나 배달 사기나 사기 투자기회(20%)였다. 하지만 가장 많은 손해를 본 사기는 투자(53%)와 연애 사기(14%)였다.

유명인 딥페이크를 이용한 투자, 연애 사기도 늘고 있다. 2022년 일본 예술가인 이데 치카에(Chikae Ide)는  배우 마크 루파로(Mark Ruffalo)를 사칭한 연애 사기로 50만 달러를 잃은 사례는 지금도 회자된다. 딥페이크 엘론 머스크는 가짜 암호화폐 투자 기회를 홍보하기 위해 사용됐다. AI 기반사기는 점점 더 구분하기 어려워지고 있고 상당수 사람들이 AI와 실제 인간의 목소리를 구분 못할 정도다.

[AI 시대, 개인의 유사성에 대한 문제 더 심각]

배우도 자신들의 유사성을 이용 딥페이스 범죄를 가장 우려하고 있다.

148일 동안 이어졌던 할리우드 배우 파업 당시에도 AI사용에 대한 통제 권한을 누가 갖는 지를 두고 스튜디오와 배우들은 갈등을 벌였다. 디지털 이미지와 인격의 실제 유사성에 대한 관리는 AI 등장 이후  중요한 문제가 되고 있다.

이에  메타, 틱톡, X, 스냅챗, 레딧 등 소셜 미디어 서비스들은 생성AI의 이용과 콘텐츠 생산과 관련, 자신들만의 심의 기준을 만들어 시행하고 있다. 그러나 자체 기준으로는 부족하다는 지적도 많다.

 AI생성 콘텐츠에 대한 라벨링을 필수로 하고 딥페이크 피해자가 발생할 경우 즉시 삭제할 수 있는 법적 시스템을 만들어야 주장도 있다. 아울러 원본 여부를 판단할 수 있는 딥페이크 작품을 검색할 수 있는 탐지 기능도 필요하다는 의견에도 힘이 실리고 있다.