소니(Sony)의 영화 콘텐츠 사업을 책임지고 있는 소니 픽처스 엔터테인먼트(Sony Pictures Entertainment)가 첫 번 째 LED버추얼 제작 스튜디오(LED virtual production stage)를 미국 LA 컬버시티(Culver City)에 위치한 ‘소니 이노베이션 스튜디오((Sony Innovation Studios)’에 런칭했다.

새로운 LED 스테이지는 소니의 최신 LED 디스플레이 패널을 활용했다. SPE는 LED월 제작을 위해 소니의 최고 수준 엔지니어와 협업했다.

소니 이노베이션 스튜디오(SIS)은 이번 LED 스테이지 엔터테인먼트가 자신들의 제작 기술 능력을 메타버스로 한 단계 업그레이드해줄 것으로 보고 있다.

SIS는 다양한 엔터테인먼트 플랫폼에  버추얼 제작 과정을 확장하고 실시간과 버추얼 세계를 자연스럽게 연결하는 기술 개발에 집중하고 있다. lED 월 구축도 이 전략의 일환이다. 소니의 버추얼 LED 스테이지팀은 지난 2018년 “ 엔터테인먼트 테크놀로지의 경계를 확장시키는 것”을 최대 목표로 하고 있다.

현재 SIS는 아톰 뷰 기술(Atom View technology)과 스테이지 통합 소프트웨어를 보유하고 있다.

소니 이노베이션 스튜디오(Sony Innovation Studios) 수석 부사장 겸 책임자 마사키 나카야마(Masaki Nakayama)는 버라이어티와의 인터뷰에서 “우리의 새로운 LED스테이지는 우리의 기술을 더욱 향상시킬 수 있는 이정표”라며 “사진처럼 사실적인 비주얼과 직관적인 ‘버추얼 프로덕션’의 제작 과정 조합으로 크리에이터들은 근본적으로 새로운 방식으로 영향력 있는 이야기를 전달하는 데 집중할 수 있다."고 강조했다.

소니 픽처스 엔터테인먼트의 CEO이자 의장 토니 빈치케라(Tony Vinciquerra)도 성명에서 “버추얼 프로덕션은 영화와 TV 콘텐츠를 제작하는 방식을 혁신하고 있다.”며 “SPE 안에 버추얼  제작 기술(virtual production technology)를 적용함으로써  콘텐츠 크리에이터들에게 그들의 시각을 완벽하게 현실로 만드는 필수적인 기술을 줄 수 있다.

요시다 켄이치로(Kenichiro Yoshida) 소니 그룹 대표는 “소니의 견고한 기술 위에 세워진 크리에이티브 엔터테인먼트 회사”라며 “버추얼 제작은 새로운 가치를 제공하고 크리에이터가 기술의 힘을 통해 창의력을 발휘할 수 있도록 지원하는 핵심 분야 중 하나"라고 설명했다.

[2000년부터 확산된 LED 월]

과거 TV드라마들은 현재하지 않는 공간이나 원격 작업을 할 때 그린(Green)이나 블루 스크린( Blue Screen)을 사용해왔다.  화면 뒤에 그린 스크린을 설치해놓고 컴퓨터 그래픽 작업을 통해 가상의 배경을 심는 것이다.  

후반 제작(Post Production) 스튜디오 스타게이트 스튜디오(Stargate Studios)는  2000년 대 초반 NBC 드라마 ‘ER’ 제작 당시, 9/11 이후 여행을 꺼려하던 LA 제작진들이 시카고(Chicago)에 가는 대신 시카고 현장에서 촬영된 플레이트(Plate)를  사용해 ‘시카고 세트’를 만들었다.

그러나 LED월을 이용한 버추얼 제작(LED virtual production)은 TV와 영화 제작 현장을 바꾸고 있다.  LED월의 효용성이 확인된 이후 디즈니+  ‘만달로리안(Mandalorian)’ 등의 다양한 작품에서 배경으로 LED월은 기본 사용되고 있다. 특히, 여행이 제한된 팬데믹 이후 콘텐츠 제작 현장에서는 LED월(Wall)과 LED를 이용한 현장 재현(LED Volume)은 필수가 되고 있다.

2018년 만들어진 ‘퍼스트맨(FIRST MAN)’, 2020년 HBO 드라마 ‘런(RUN)’에서도 LED월이 쓰였다. 드라마는 주인공들이 기차에서 도망치는 장면들이 자주 나오는 런의 경우 캐나다 기차를 미국 암트랙(Amtrak) 열차로 바꿔놨다.  원래는 350도 블루스크린을 쓰기로 했지만 스타게이트츠는 에픽게임스의 언리얼 엔진을 이용해 40개의 열차 창문 배경을 완벽하게 바꿔놨다.

조지 클루니가 감독한 2020년 넷플릭스 영화 ‘미드나이트 스카이(THE MIDNIGHT SKY)는 ILM의 스테이지크래프트(Stagecraft)가 LED월을 이용해 남극 기자에 설치된 버려진 관측소를 재현했다.

가로 141피트, 세로 20피트 높이의 L자형 LED월이 세트의 전면과 측면에 배치되었고, 두 번째 작은 LED 벽은 스튜디오 층에서 3미터 떨어진 곳에 세워져 캐릭터가 건물 안으로 들어가는 장면을 촬영할 수 있도록 했다. LED 월 촬영은 실제 기본 영상 촬영이 시작하기 전 B팀이 아이슬랜드에서 찍어왔다.

2019년 프리폼(Freeform) 드라마 시즌3 ‘굿 트러플(Good Trouble)’은 팬데믹 시절 LED월의 상당한 혜택을 봤다. 별다른 외부 촬영 없이 LA외경(팰리스 극장 포함)을 완벽히 재현했다. 제작은 산타클라라에 있는 무대 세트 디자인에 LED월을 설지해 이뤄졌다.

[LED월 제작의 장점 “자연스러운 빛 반사]

360도 공간에 설치되는 LED월의 가장 큰 장점은 ‘현실에 가까운 현장성’이다. 과거 2D 플레이트(Plate)나 영상 자료(Footage)을 이용하는 전통적인 영상 프로젝션이나 단순한 블루 스크린 배경은 정적이었으며 심지어 일부 화면은 인공적인 느낌이 화면에 나타날 수 밖에 없었다.

하지만,  ‘언리얼(Unreal)’과 같은 게임 엔진이 쓰이는 LED월은 3D디지털 환경을 만든다. 카메라들은 변화하는 (사람들의 변화하는) 시점을 따라가는 센서가 설치돼  이미지의 시차를 조정하고 실제와 같은 환경을 만든다.

LED월의 가장 큰 장점은 촬영 시 배경(볼륨(Volume))을 볼 수 있다는 것이다. 배우들도 움직이는 배경을 뒤에 두고 연기를 할 수 있어 생생한 액션이 가능하다. 현장에 가지 않고도 현장 분위기를 낼 수 있다.

개별 디스플레이(Display)로 벽을 구성 몰입형 환경을 조성하거나 개별 스크린을 사용해 움직이는 차량의 창문 밖으로 지나가는 배경의 외관을 따로 제공할 수 있다.  

‘만달로리안’에서 구현됐던 우주 행성 신도  ILM(Industrial Light & Magic)의 버추얼 제작 회사 스테이지크래프트(StageCraft)가 이렇게 만들어냈다.

‘만달로리안’에서 연출된 은하수 공간(Backdrops)은 4개 PC가 연결된 1,326개 LED 스크린으로 만들어졌다. 반원형 LED월의 크기는 높이 20피트, 길이 180피트, 270도에 달했다. 이 LED월 반대편에도 각각 132개 LED 스크린으로 구성된 2개의 가로 세로 20피트짜리 ‘야생(Wild,  이동 가능한)’ 월이 설치됐다.  이 월은 3개 PC로 별도 제어되고 배우 연기를 위한 75피트 폭 공연 공간을 만들어냈다.

LED에 연결된 총 7대 PC들은 게임 엔진 언리얼의 N디스플레이 시스템(nDisplay system)에 연결돼  스테이지의 모든 화면에서 이미지가 동기화된다.  또 이 시스템에는 휴대용 태블릿도 연결돼 팀 구성원들이 세트를 걸어다니고 즉석에서 조명과 환경을 바꿀 수 있게 했다. 주인공과 극의 분위기에 따라 날씨와 색깔도 휴대용 태블릿으로 바꿀 수 있다.

블루스크린 환경에서 제작될 당시에는, 표면 반사(reflective surfaces) 등 ‘라이트닝(Lighting)’ 문제는 가장 큰 문제였다.  조명 때문에 발생하는 피사체 반사는 부자연스러움을 만드는 가장 큰 원인이었기 때문이다.  블루스크린을 쓰면 후반작업에서 이 반사를 제거하고 실제 액션과 컴퓨터그래픽에 의해  외부 환경에 맞는 반사로 대체해야 했다.  금속 헬멧과 갑옷을 입고 있는 ‘만달로리안’ 특성 상 만약 블루&그린 스크린으로 만들어졌다면 갑옷의 반사 때문에 상당히 어려운 후반 작업이 예상됐었다. 그러나 LED 월은 이 문제를 해결했다.

LED월의  섹션(Section)들을 실제 환경에 가까운 조명과 이미지를 넣을 수 있게 설계해 ‘표면 반사’를 최소화해 했다.

사체 전면을 감싸는 360도 LED월이 환경과 유사한 장면과 반사를 만들어내 부자연스러운 반사를 없앤 것이다.

또 최근 기술 발달로 버추얼 조명이 보이지 않도록 시스템을 프로그래밍할 수 있다는 것이다. 카메라를 가리켰을 때 카메라 시점을 볼 수 있기 때문에 작업자는 조명이 안으로 기울어지는 것에 대해 걱정할 필요가 없다.

그럼에도 불구하고 문제는 있다. 현재 LED 스크린에서 나오는 빛은 순수한 양성(unalloyed positive)은 아니다. 왜냐하면 그것 또한 색을 내기 때문이다.  

롭 브레도우(Rob Bredow) ILM 부사장이자 최고 크리에이티브 책임자(chief creative officer)는 버라이어티와의 인터뷰에서 “만달로리언 시즌1에서 처음 세트를 구성할 때 지면 색깔이 맞지 않았다.”며 “이에 원인을 찾아보니, LED월이 모래를 비추고 있었고 때문에 땅을 더 오렌지 색으로 만들고 있었다.”고 설명했다.

그는 또 "주황색 조명을 사용하기 때문에 색상이 두 배로 증가하므로 이제 우리가 찾던 완벽한 전환을 정확히 얻을 때까지 조정해야 한다”며 “ 이제 그것은 당연하게 일어난다. DP 옆에 누군가가 서서 이러한 조정을 하고 있으며, 우리가 출시할 준비가 될 때쯤에는 모든 색상이 매끄럽게 혼합될 것."이라고 덧붙였다.

또 LED월은 다른 문제도 있다.

화면 표면은 실제 조명(위치에 내장된 것)과 다른 물체를 반사하며, 카메라가 화면에 직접 초점을 맞추면 이미지에서 모리에 효과(Moiré effect)를 낸다.  카메라의 센서가 디스플레이의 LED 패턴과 일렬로 정렬되지 않아 발생하는 줄무늬 아티팩트(striped artifacts)가 발생할 수 있다. 또한 LED월과 오버헤드 스크린 사이에는 보이는 희미한 경계선이 생겨 후반작업에서 지워야한다.  촬영 당일 카메라가 LED 볼륨에서 기록하는 것은 관객이 결국 스크린에서 보게 될 것이며, 그것은 단점이다.

만약 애초에 그린 스크린 과정(green-screen process)을 도입했다면  그들이 비싸고 쉽지 않은 후반 작업에서  LED 스크린 이미지를 디지털로 교체하는 과정을 거치지 않는 한 작업은 완료된다.

나중에 CGI 배경이 추가된 녹색 화면을 배경으로 촬영함으로써, 더 높은 해상도 이미지를 생성하고, 설정된 조명 오산을 보정하며, 사진이 잠길 때까지 이미지를 미세하게 조정, 재고 또는 재설계할 수 있다.

결국 LED월에서도 배우들은 거대한 녹색 상자 안에 감정을 담아내면서 자연스럽게 연기하려고 노력해야 한다.

아직은 LED작업은 고비용 프로젝트다. LED를 더 많이 사용하면 할 수도록  제작에 더 많은 비용, 시간 . 노력이 소요된다.

보통, 제작 디자이너와 촬영 기본 촬영이 끝나면 현장을 떠난다. 향후 이들은 색보정을 할 때 다시 돌아온다. 대형 VFX 프로젝트에서, 디지털 사전 시각화 작업(digital pre visualizations)에 아무리 꼼꼼하더라도 세트, 조명을 포함한 대부분의 비주얼 시스템이 제작진의 이해 없이 만들어진다.

이런 문제점 때문에 블루스크린을 쓰는 영화 제작 현장은 존재하지 않는 환경에 맞추려는 부단한 노력들이 있었다. 편집자들은 또한 나중에 추가될 시각적 효과를 상상하며 이미지를 만들어왔다.

LED월을 이용하면, 제작 재현과 함께 멀리 있는 현장에 이동하는 대신 오히려 반대로 ‘무대로 지역’을 가져올 수 있다. ‘스타워즈’의 경우 과거에는 사막과 행성 촬영을 위해 중동 아부다비 등으로 이동해야 했지만, ‘만달로리안’은 완전히 달랐다. B팀 촬영 인원만 아이슬랜드, 칠레, 유타 등에 파견해 세트에 필요한 버추얼 360도 영상을 촬영했다. 또 숙박비, 생활비, 장비 운송비 등도 절감할 수 있다.

장 로케이션 초소화는 탄소 배출량 감소에도 도움을 준다. ‘만달로리안’의 경우 첫 시즌 2개 제작에 30톤의 탄소 배출을 줄였다. 일부는 제작비 감소도 이야기하고 있다. 제작에서 필요한 그래픽 환경만 구축하기 때문에 제작 비용이 줄수 밖에 없기 때문이다.

LED월 도입으로 인해 워크플로우가 재정의되고 기술이 발전한다. 버라이어티는 기술 발전과 관련 “LM의 새로운 헬리오(Helio) 렌더링 엔진과 엔비디아의 새로운 비디오 프로세서 덕분에 ‘만달로리안’에 사용된 LED 시스템은 시즌2가 시즌1에 비해  복잡성 처리 속도가 20배에서 30배 정도 높아졌다.”고 강조했다.

‘만달로리안’ 시즌2의 경우  기술이 더 좋아졌다. 시즌 2의 경우  카메라 추적 기능(the camera tracking ability)도 업그레이드도 돼 LED월의 안과 밖에서 작동했다. 실제 세트에서 시작해 LED월으로 이어지는 장면도 전혀 어색하지 않게 구현됐다.

[현장 적용 가능한 콘텐츠 테크놀로지 개발]

소니 픽처스 엔터테인먼트(Sony Pictures Entertainment)는 2018년 7월 방송, 영화에 적용하는 최신 디지털 기술을 육성하기 위해 ‘이노베이션 스튜디오(innovation Studios)’을 설립했다. 스튜디오는 캘리포니아 컬버시티에 위치해 있으며 영화 제작자, TV 쇼 제작자, 할리우드 외부인들에게도 사용할 수 있도록 설계됐다. 당시 이노베이션 스튜디오는 소니의 내부 엔터테인먼트 분야 기술을  딜로이트 디지털, 델 및 인텔 등 외부 파트너사와 결합시켜 ‘새로운 차원의 엔터테인먼트 경험’을 만드는데 주력했다.

이와 관련 이노베이션 스튜디오는 제작진들이 기존 설치된 필름 세트(film sets)를 스캔해 디지털 자산으로 저장한 뒤 나중에 이를 재활용할 수 있는 시스템을 구축했다.

이는 특정 영화의 속편을 찍을 때 세트를 다시 만들 필요가 없게 하고 해외 촬영 시 세트를 저장한 뒤 이를 이노베이션 스튜디오에 돌아와서 촬영할 때 사용할 수도 있다.

이노베이션 스튜디오는 “만약 글로벌 지역의 지리를 압축해 저장할 수 있다면 우리는 TV프로그램 제작진들의 출입하지 못했던 장소도 상상을 통해 촬영이 가능하다”며 “저 예상 TV시리즈에 매우 적합할 것”이라고 밝혔다. 한국에서도 프랑스 파리의 거리나 북한 거리 등을 그대로 재현해 찍을 수 있는 셈이다.

또 소니 이노베이션 스튜디오는 콘텐츠에 현실 부피감을 부여 하는 볼류메틱 캡처(volumetric capture) 기술도 보유하고 있다. 이 기술은 버추얼과 증강현실(augmented reality) 애플리케이션의 홀로그램 콘텐츠를 저장할 때 주로 사용된다.  

이노베이션 스튜디오는  실제 제작에 적용할 수 있는  콘텐츠 관련  리서치와 기술 개발 시설로 자리 매김 중이다. 소니는 이 스튜디오를 실험이나 장난감이 아니라 도구(Tool)라고 생각하고 있다. 이에 엄청난 기술을 개발하는 것이 목표가 아니라 ‘실제 스튜디오 작업에 도움되는 기술을 개발하는 것’이 전략이다.