"People watch the game, but it's AI that understands it, AI Sports broadcasting systems that coexist with humans"

Generative AI, which creates images, videos, and texts according to given commands, is also dominating the broadcasting industry. In particular, the penetration of AI into broadcasting has accelerated since the introduction of AI story visualization systems that turn text into video, such as Open AI's Sora.  Generative AI has grown to the point where it can help humans with their work and imagination. Lore Machine turns writers' scripts into storyboards and animations. Lore Machine left private beta on March 4 and is now open to the public, and interest has been strong. There are already more than 25,000 users on the waitlist.

The National Association of Broadcaster Show (NAB Show), the world's largest trade show for broadcasting, media, and entertainment, on April 13, 2024, will also focus on AI.  This year's theme is Embracing the Future of AI.  The focus is on how AI is changing the way content is created, distributed, and monetized.

In the broadcast industry, AI is being applied to dramas and entertainment news.  Channel 1, which has declared itself an AI CNN, has also announced that it will introduce 'AI reporters' for sports coverage.

That's not all.  The genre of sports is also actively applying generative AI.  AI is being used to analyze games and improve athletic performance, and it's also making its way into sports broadcasting.  The Masters golf and Wimbledon tennis tournaments have used IBM AI for match highlight videos and commentary.

In June 2023, European Broadcasting Union's division Eurovision Sport also used AI Voice to provide commentary for the European Athletics Championships in Poland. The AI commentary, which IBM provided for the Masters and Wimbledon, involved AI watching video of the matches and commenting like a human. According to IBM, Generative AI provided over 2,000 video clip golf commentaries for the# Masters app. The AI voice is indistinguishable from a real human voice.

The voice of famous athlete Hannah England used for the European Athletics Championships was indistinguishable from the real Hannah. People who watched the video without realizing it was an AI were fooled.  The organizers put out a notice that the AI audio was "not human.

In recent years, so-called "AI ESPN" has emerged, in which AI is in charge of all the broadcasting and even creates sports shorts.Korean company Pixelscope is a representative. The company's PixelCAST' is an 'AI sports broadcasting system' that fully automates live sports broadcasting.

Overseas companies such as Israel's Pixelot, Sweden's Speedo, and the U.S. PlaySite have challenged soccer, ice hockey, and basketball.  However, unlike other companies, Pixelscope's Pixelcast can be considered a total AI sports platform, from providing sports data content to AI broadcasting and subsequent content production.

[Evolving beyond match analytics to an AI powered sports broadcasting platform]

Pixelcast uses artificial intelligence (AI) to broadcast sports instead of humans.

The AI controls the 10 or so cameras installed in the stadium. The AI is responsible for controlling the unmanned cameras, automatically selecting and controlling scenes, auto-replaying, and storing data content. In addition, the AI can edit the screen, create graphics, and analyze the game. All of this technology was developed entirely by Pixelcast.  The company was founded in 2018 and focused solely on developing products in the sports technology space.

Pixelscope has developed sports simulators for golf and other sports by combining camera technology and sports. Based on this technology, it introduced sports analysis systems such as professional baseball and volleyball.

From there, they went further and came up with a solution (PixelCast) to broadcast and analyze the entire game.

"With only one camera, you can't feel the human expression and dynamic atmosphere on the broadcast screen. Sports should be exciting. By controlling multiple cameras, we've taken a fresh approach to targeting professional leagues."

To ensure the success of AI sports broadcasting, Kwon analyzed the characteristics of various games. He first focused on table tennis, where players move and balls are passed around in a fixed space.

After learning the movements of players, balls, and referees, the AI automatically selects and edits footage from various angles and presents it on the screen. In addition to match replays, the AI also generates graphics such as player skills, game statistics, and tournament brackets in real time.

Pixelcast can be used to broadcast almost any sporting event, and PixelScope's AI coverage of the US Open Table Tennis Championships in December 2023 and the International Table Tennis Federation (ITTF) Pan American Cup in January 2024 in Texas, USA, were both of high quality.

The quality of the broadcast was above and beyond the traditional broadcast. There were no minor incidents, and the screen composition and graphics were so perfect that it was hard to tell that it wasn't done by humans. In addition, the post-game sports highlights were provided very quickly.

"We have expanded from analyzing sports events to sports broadcasting through AI," said Kei Kwon, CEO of PixelScope. "We are helping on-site sports broadcasting crews and systems while advancing our technology based on various data."

Pixelscope is also working to advance its technology.

In March 2024, the company announced a partnership with camera company Nikon's robotics division, MRMC (AFC-180 Robotic Heads).

"This collaboration will help us to accurately track the ball and players and draw real-time 3D trajectories faster," said PixelScope, "and create 'sports big data' by collecting image and audio data in chronological order, which will be integrated into AI-automated live sports broadcasting."

It will also automate the broadcast production process to reduce human error and deliver live sports coverage that is personalized to individual preferences 24/7.  

"We have been producing the most accurate and high-level sports data and efficiently delivering it as an e go-to solution from amateur leagues to professional leagues," said Kei Kwon, CEO of the company, in a press release. "With this agreement, we will strive to create the perfect AI solution for sports events."

[North American Sports Technology market  to Grow 6.2% through 2030]

Pixelscope is going global this year (2024). It is targeting the U.S. sports broadcasting market, which is the largest after Europe. According to Grand View Research, the U.S. sports technology market is estimated to be worth $71.57 billion in 2022 and is expected to grow at a compound annual growth rate (CAGR) of 6.2% from 2023 to 2030.

Sports technology, such as 5G AI, VR, metaverse, and streaming, is helping sports fans enjoy watching games more and generating data to improve performance. AI is the technology that is driving the growth of the sports technology market. The sports technology market is growing rapidly in the United States and Europe.

The European sports technology market is also on the rise. According to one research firm (Knowlege Sourcing), the EU sports technology market is expected to grow by more than 17% annually, reaching $18.1 billion in 2028.

[Attending Pixelscope at NAB2024 for global]

The future is bright for Pixelscope's growth. As a first step toward globalization, Pixelscope will have its own booth (C6135) at NAB2024.

This is different from many Korean broadcast content technology startups, which are located in joint booths provided by Korean government organizations such as ETRI and KOTRA.

This shows Pixelscope's strong commitment to globalization.  While Pixelscope has participated in many global exhibitions, this is the first time we have built our own booth.

On-site, professional American table tennis players will play a match and broadcast it unattended and live on Pixelcast (an AI powered sports broadcasting system).

They also prepared a special press kit for international journalists visiting our booth to learn more about our technology and advantages.

[Pixelcast increases game immersion and adds value]

The most important thing for Pixelscope is the coexistence of sports AI and humans. PixelScope's AI broadcasting system is not designed to replace humans.

Rather, Pixelcast and the sports broadcasting and analytics professionals who use it will make game analysis more accurate, entertaining, fast-paced, and exciting.

The final decision on the quality of a sports broadcast is still made by humans.

However, "AI provides data for humans to make better decisions and judgments. In other words, Pixelcast becomes a sports broadcaster's best camera and assistant. With PixelCast, broadcasters can focus on "more creative work".

PixelScope can also help democratize sports. High school, college sports leagues, and amateur leagues that previously required professional broadcast systems and significant costs can now broadcast sports through AI. Not only will new jobs be created, but more fans will be able to experience the sports they love.

PixelScope systems can also help broadcasters, leagues, and distribution companies increase revenue.  Creative sports coverage can lead to differentiation and engage sports fans. AI-generated personalized match content (highlighting a specific player, editing out goal shots) can also help broadcasters earn more revenue. Sports AI could create a new sports creator economy.

[PixelScope, the ultimate final destination of AI sports broadcasting]

PixelScope plans to expand its sports coverage to include soccer, baseball, American football, golf, and more, starting with the U.S. in 2024.  The ultimate goal is to become an "the ultimate final destination of AI sports broadcasting" covering sports leagues at the peak of their popularity, such as the National Football League (NFL) and the Premier League.

PixelScope's focus is on speed and accuracy as it grows.  AI sports broadcasting should also be entertaining.  "We will develop AI sports broadcasting technology that captures spectators' expressions and emotions," Kwon said, emphasizing that the company will play a role in developing AI sports technology, expanding its base, and pioneering new markets.  

“경기를 보는 것은 사람이지만 경기를 이해하는 것은 AI다” 인간과 공존하는 스포츠 AI 중계

주어진 명령에 따라 이미지, 비디오, 텍스트를 만들어내는 생성AI는 방송 산업도 지배하고 있다. 특히, 오픈AI(Open AI) 소라(Sora) 등 텍스트를 비디오로 만들어내는 AI시각화 스토리 솔루션(AI STORY VISUALIZATION SYSTEM)  등장 이후 AI의 방송 침투는 더욱 가속화되고 있다.  

생성AI는 인간의 업무와 상상력을 돕는 수준까지 성장했다. 로어 머신(Lore Machine)은 작가들의 각본을 스토리보드나 애니메이션으로 만들어준다. 로어머신은 3월 4일 비공개 베타를 마치고 현재 일반에 공개됐는데 관심이 뜨겁다. 이미 25,000명 이상의 사용자가 대기자 명단에 올라와 있다.

오는 2024년 4월 13일 열리는 방송, 미디어, 엔터테인먼트 관련 글로벌 최대 전시회 NAB쇼(National Association of Broadcaster Show)도 AI에 집중한다.  올해 전시회 주제 역시 ‘AI의 미래 수용(Embracing the Future of AI)이다.  AI가 콘텐츠 제작과 유통, 수익 창출 과정을 어떻게 변화시키는 지에 초점을 맞추고 있는 셈이다.

AI가 적용되는 방송 산업은 드라마나 예능 뉴스에도 적용되고 있다.  AI CNN을 선언한 ‘채널1(Channel 1)’도 스포츠 보도를 위해 ‘AI기자를 도입하겠다고 밝힌 바 있다.

뿐만 아니다.  스포츠 장르에도 생성 AI가 적극적으로 적용되고 있다.  AI를 이용해 경기 분석이나 운동 능력 향상에 도움을 받고 스포츠 중계에도 AI가 깊숙히 도입되고 있는 것이다.

마스터즈 골프와 윔블던 테니스 대회에서 경기 하이라이트 비디오와 해설에 IBM AI를 사용했다. 또 2023년 6월 유럽 방송 협회 사업부 유로비전 스포츠(Eurovision Sport)는 폴란드 유럽 육상 선수권 대회도 AI보이스를 이용해 경기 해설 서비스를 제공했다.

IBM이 마스터즈와 윔블던에 제공한  AI해설(The AI commentary)은  AI가 경기 영상을 보고 사람처럼 해설하는 식이었다. IBM에 따르면 생성AI는 마스터즈앱에  2,000편이 넘는 비디오 클립 골프 해설을 제공했다.

AI보이스는 실제 사람의 목소리와 구분할 수 없을 정도다. 유럽 육상선수권대회에 쓰였던 유명 육상선수 한나 잉글랜드의 목소리는 진짜 한나와  차이가 없었다. AI인줄 모르고 이 영상을 본 이들은 착각할 정도였다.  주최측은 ‘AI오디오에 ‘사람이 아니다’라는 사실을 고지했다.

최근에는 아예 AI가 모든 중계를 책임지고 스포츠 단신까지 만드는 이른바 ‘AI ESPN’도 등장했다.한국 기업 픽셀스코프(Pixelscope)가 대표적이다. 이 회사가 내놓은 픽셀캐스트(PixelCAST)’는 스포츠 방송 생중계를 완전 자동화한 ‘AI 스포츠 경기 중계 시스템’이다.

스포츠 AI중계는 이스라엘 픽셀롯, 스웨덴 스피디오, 미국 플레이사이트 등 해외 기업들이 축구, 아이스하키, 농구 등도 도전했다.  하지만, 스포츠 데이터 콘텐츠 제공에서 AI 중계, 후속 콘텐츠 제작까지 픽셀스코프의 픽셀캐스트는 타사와는 달리 토털 AI 스포츠 플랫폼으로 볼 수 있다.

[경기 분석을 넘어 AI 스포츠 플랫폼으로 진화]

픽셀캐스트는 사람 대신 인공지능(AI)이 스포츠를 중계한다. 경기장 내 설치된 10여 대의 카메라 촬영은 AI가 제어한다. 무인 카메라 제어, 자동 장면(Scene) 선택 및 제어, 자동 리플레이, 데이터 콘텐츠 저장 등을 AI가 모두 책임진다. 뿐만 아니라  화면 편집, 그래픽 제작, 경기 분석까지 AI가 혼자 다한다.

이 모든 기술은 픽셀캐스트가 순수 개발했다.  이 회사는  2018년 창업해 스포츠 테크놀로지 분야 제품 개발에만 집중했다.

픽셀스코프는 카메라 기술과 스포츠를 접목해 골프 등 스포츠 시뮬레이터를 개발한 바 있다. 이 기술을 바탕으로 프로야구, 배구 등 스포츠 분석 시스템을 선보였다. 여기에서 더 나아가 경기 전반을 촬영 중계하고 분석하는 솔루션(픽셀캐스트)을 내놨다.

권기환(KEI KWON) 대표는 "카메라 1대만 있으면 사람의 표정, 역동적인 분위기를 중계 화면에서 느낄 수 없다. 스포츠는 박진감이 있어야 한다. 카메라 여러 대를 제어해 프로페셔널 리그를 타깃으로 새롭게 접근했다"고 말했다.

AI 스포츠 중계의 성공을 위해 권 대표는 각종 경기들의 특징을 분석했다.

이 중  정해진 공간에서 선수가 움직이고 공이 오가는 탁구를 먼저 주목했다. 선수·공·심판의 움직임을 학습한 AI가 다양한 각도에서 촬영된 영상을 자동으로 선택하고 편집해 화면에 제공한다. 경기 리플레이를 뿐만 아니라 선수 기술, 경기 통계, 토너먼트 대진표 등의 그래픽도 AI가 실시간으로 만들어낸다

픽셀캐스트의 특징은 거의 모든 스포츠 경기 중계에  적용할 수 있다는 점이다.픽셀스코프는 2023년 12월 US오픈 탁구 챔피언십과 2024년 1월 미국 텍사스 국제탁구연맹(ITTF) 팬 아메리칸 컵에서 AI 중계를 진행했다. 중계 퀄리티도 기존 중계 이상이었다. 사소한 사고도 없었고 화면 구성이나 그래픽은 사람이 하지 않았다고 보기 어려울 정도로 완벽했다. 게다가 경기 후 스포츠 하이라이트도 매우 빠르게 제공됐다.

픽셀스코프 권기환 대표는 "스포츠 경기 분석에서 AI를 통해 스포츠 중계로 영역을 확장했다”며 “다양한 데이터를 기반으로 기술도 고도화하면서 현장 스포츠 중계 제작진과 시스템을 돕고 있다”고 말했다.

픽셀스코프는 기술 고도화에도 힘쓰고 있다. 2024년 3월 카메라 회사 니콘의 로봇 부문 자회사 MRMC(AFC-180 Robotic Heads)와 파트너십을 맺었다.  픽셀스코프는 “ 이번 협업이 공과 선수를 정확하게 추적해 실시간 3D 궤적을 보다 빠르게 그리는 것을 도와줄 것”이라며 “이미지, 오디오 데이터를 시간 순으로 수집해 '스포츠 빅데이터'를 생성하고, 이를 AI 자동 라이브 스포츠 중계에도 통합할 것”이라고 말했다. 또 방송 제작 과정을 자동화해 사람의 실수를 줄이고 24시간 7일 개인 선호도에 맞는 스포츠 라이브 중계를 제공할 수 있다고 강조했다.  

권기환(Kei Kwon) 대표는 언론 인터뷰에서 “가장 정확한 높은 수준의 스포츠 데이터를 생산해 이를 아마추어 리그에서부터 프로 리그에까지 핵심솔루션(e go-to solution)을 효율적으로 제공해왔다”며 “이번 협약을 계기로 완벽한 스포츠 경기 AI 솔루션을 만들기 위해 더 노력할 것”이라고 말했다.

[북미 스포츠 테크, 2030년 연평균 성장률(CAGR) 6.2% 성장]

픽셀스코프는 올해(2024년) 본격적으로 글로벌 진출을 추진하고 있다. 가장 큰 미국 스포츠 중계 시장을 노리고 있다.

그랜드뷰 리서치에 미국  스포츠 테크놀로지 시장은 2022년 715억 7000만 달러로 추정되며 2023년부터 2030년까지 연평균 성장률(CAGR) 6.2%로 성장할 것으로 예상된다.

스포츠 테크놀로지는 5G AI, VR, 메타버스, 스트리밍 등 스포츠 팬들이 경기를 보는 재미를 더해 경기에 대한 몰입도를 높이고 경기력 향상을 위한 각종 데이터 생산을 돕는다. 스포츠테크놀로지 시장 성장을 견인하는 기술은 단연 AI다. 미국 뿐만 유럽 스포츠 테크놀로지 시장도 급성장하고 있다.

유럽 스포츠 테크놀로지 시장(The Europe sports technology)도 성장세가 크다. 한 조사 기관(Knowlege Sourcing)에 따르면 EU 스포츠 테크놀로지 시장은 매년 17%이상 성장해 2028년 181억 달러로 커질 것으로 전망했다.

픽셀스코프의 성장을 위한 미래는 매우 밝은 셈이다. 글로벌 진출을 위한 첫 시작으로 픽셀스코프 NAB2024에 자체 부스(C6135)를 설치한다. 상당수 한국 방송 콘텐츠 기술 스타트업들이 ETRI나 KOTRA 등 한국 정부 기관이 제공하는 공동 부스에 위치한 것과 다르다.

그만큼 픽셀스코프의 강한 글로벌 진출 의지를 볼 수 있다.  

픽셀스코프가 그동안 많은 글로벌 전시회에 참가했지만 부스를 직접 만드는 것은 이번이 처음이다.   현장에서 미국 탁구 전문 선수들이 직접 경기를 진행하고 이를 픽셀캐스트(AI 스포츠 중계 시스템)로 무인 실시간 중계하는 이벤트를 벌인다. 회사 기술과 장점을 보다 더 많이 알리기 위해 부스를 찾는 각국의 취재진을 위한 스페셜 프레스킷도 준비했다.

[픽셀캐스트, 경기 몰입도와 부가가치를 높여]

픽셀스코프가 가장 중요하게 생각하는 것은 ‘스포츠AI와 사람’의 공존이다. 픽셀스코프가 AI 중계 시스템을 내놓은 이유는 ‘사람의 일을 대체하기 위해서’가 아니다. 오히려 픽셀캐스트와 스포츠 중계, 분석 전문가가 픽셀캐스트를 활용할 경우 경기 분석의 정확도와 재미, 그리고 속도와 박진감이 높아진다.

스포츠 중계 퀄리티의 최종 결정은 여전히 사람이 내린다. 다만 ‘AI는 사람이 더 좋은 결정과 판단을 할 수 있는 데이터를 제공한다. 픽셀캐스트가 스포츠 중계진의 가장 든든한 카메라 이자 조수가되는 셈이다. 픽셀캐스트와 함께하는 방송사 인력들은 ‘보다 창의적인 업무’에 집중할 수 있다.

게다가 픽셀스코프는 스포츠 대중화에도 도움을 줄 수 있다. 과거 전문적인 방송 시스템과 상당한 비용이 들었던 고등학교나 대학교 스포츠 리그, 아마추어 리그 등도 AI를 통한 스포츠 중계가 가능하다. 새로운 일자리 창출은 물론 더 많은 팬들이 자신들의 의미 있는 스포츠를 경험할 수 있다.

픽셀스코프 시스템은 방송사나 리그, 중계 회사 수익 증대에도 도움이 된다.  창의적인 스포츠 중계는 차별화로 이어지고 스포츠 팬들의 몰입도를 높일 수 있다.  AI가 생성한 개인 취향 경기 콘텐츠(특정 선수를 중심으로 한 하일라이트, 골장면만 편집한 화면)를 통해 방송사들은 더 높은 수익을 올릴 수도 있는 것이다. 스포츠 AI를 통해 새로운 스포츠 크리에이터 이코노미를 만들 수 있다.

[AI스포츠 중계의 종결자 “픽셀스코프”]

픽셀스코프는 2024년 미국 진출을 시작으로 축구, 야구, 미식 축구, 골프 등 중계하는 스포츠 종목을 더 다양화할 계획이다.  최종 목표는 프로미식축구(NFL), 유럽 프로축구리그(프리미어 리그) 등 인기의 최정점에 있는 스포츠 리그를 중계하는 ‘AI스포츠 중계 종결자’다.

픽셀스코프가 외형 성장과 함께 신경쓰는 것은 ‘속도’와 ‘정확성’이다.  AI 스포츠 중계 역시 재미있어야 한다.  권 대표는 “관중 표정과 감정까도 담는 AI 스포츠 중계 기술로 발전할 것”이라면서 “AI스포츠 기술 개발과 저변 확대, 새로운 시장을 개척하는 역할을 하는 회사가 될 것”이라고 강조했다.