[엔터테크]웹 3.0시대, 콘텐츠 몰입도를 더 확장시키는 LED월(LED-Wall)
최근 소니 엔터테인먼트, 미국 LA의 콘텐츠 기술 개발 연구소 '소니 이노베이션 스튜디오'에 영화와 TV드라마에 쓸 수 있는 대형 'LED월' 구축. LED월은 블루스크린과 달리, 스튜디오에 360도 현실 공간을 만들 수 있는 기술. 팬데믹 이후 영화와 TV드라마에 잇단 적용...LED월의 현재와 미래
소니(Sony)의 영화 콘텐츠 사업을 책임지고 있는 소니 픽처스 엔터테인먼트(Sony Pictures Entertainment)도 LED 월 대열에 합류했습니다. 기술 개발에 보수적인 소니가 LED월에 합류했다는 건, 이 기술이 보다 대중화됐다는 것을 의미합니다.
소니는 LED버추얼 제작 스튜디오(LED virtual production stage)를 미국 LA 컬버시티(Culver City)에 위치한 ‘소니 이노베이션 스튜디오((Sony Innovation Studios)’에 런칭했습니다.
새로운 LED 스테이지는 소니의 최신 LED 디스플레이 패널을 활용했습니다. SPE는 LED월 제작을 위해 소니의 최고 수준 엔지니어와 협업했습니다.
소니 이노베이션 스튜디오(SIS)은 이번 LED 스테이지 엔터테인먼트가 자신들의 제작 기술 능력을 메타버스로 한 단계 업그레이드해줄 것으로 보고 있습니다.
SIS는 다양한 엔터테인먼트 플랫폼에 버추얼 제작 과정을 확장하고 실시간과 버추얼 세계를 자연스럽게 연결하는 기술 개발에 집중하고 있습니다. LED 월 구축도 이 전략의 일환입니다. 소니의 버추얼 LED 스테이지팀은 지난 2018년 “ 엔터테인먼트 테크놀로지의 경계를 확장시키는 것”을 목표로 하고 있습니다.
소니 이노베이션 스튜디오(Sony Innovation Studios) 수석 부사장 겸 책임자 마사키 나카야마(Masaki Nakayama)는 버라이어티와의 인터뷰에서 “우리의 새로운 LED스테이지는 우리의 기술을 더욱 향상시킬 수 있는 이정표”라며 “사진처럼 사실적 비주얼과 직관적인 ‘버추얼 프로덕션’의 제작 과정 조합으로 크리에이터들은 근본적으로 새로운 방식으로 영향력 있는 이야기를 전달하는 데 집중할 수 있다."고 강조했습니다.
[2000년부터 확산된 LED 월, 이제는 대세]
과거 TV드라마들은 현재하지 않는 공간이나 원격 작업을 할 때 그린(Green)이나 블루 스크린( Blue Screen)을 사용해왔습니다. 화면 뒤에 그린 스크린을 설치해놓고 컴퓨터 그래픽 작업을 통해 가상의 배경을 심는 겁니다.
후반 제작(Post Production) 스튜디오 스타게이트 스튜디오(Stargate Studios)는 2000년 대 초반 NBC 드라마 ‘ER’ 제작 당시, 9/11 이후 여행을 꺼려하던 LA 제작진들이 시카고(Chicago)에 가는 대신 시카고 현장에서 촬영된 플레이트(Plate)를 사용해 ‘시카고 세트’를 만들었습니다.
그러나 LED월을 이용한 버추얼 제작(LED virtual production)은 TV와 영화 제작 현장을 바꾸고 있습니다.
LED월의 효용성이 확인된 이후 디즈니+ ‘만달로리안(Mandalorian)’ 등의 다양한 작품에서 배경으로 LED월은 기본 사용되고 있습니다.
특히, 여행이 제한된 팬데믹 이후 콘텐츠 제작 현장에서는 LED월(Wall)과 LED를 이용한 현장 재현(LED Volume)은 필수가 되고 있습니다.
2018년 만들어진 ‘퍼스트맨(FIRST MAN)’, 2020년 HBO 드라마 ‘런(RUN)’에서도 LED월이 쓰였습니다. 드라마는 주인공들이 기차에서 도망치는 장면들이 자주 나오는 런의 경우 캐나다 기차를 미국 암트랙(Amtrak) 열차로 바꿔놨습니다.
원래는 350도 블루스크린을 쓰기로 했지만 스타게이트츠는 에픽게임스의 언리얼 엔진을 이용해 40개의 열차 창문 배경을 완벽하게 재현했습니다.
조지 클루니가 감독한 2020년 넷플릭스 영화 ‘미드나이트 스카이(THE MIDNIGHT SKY)는 ILM의 버추얼 스테이지 제조사 스테이지 크래프트(Stagecraft)가 촬영 기술 개발을 만들었습니다. 스테이지 크래프트는 이 영화를 위해 LED월을 이용해 남극 기자에 설치된 버려진 관측소를 재현했습니다.
가로 141피트, 세로 20피트 높이의 L자형 LED월이 세트의 전면과 측면에 배치되었고, 두 번째 작은 LED 벽은 스튜디오 층에서 3미터 떨어진 곳에 세워져 캐릭터가 건물 안으로 들어가는 장면을 촬영할 수 있도록 했습니다. LED 월 촬영은 실제 기본 영상 촬영이 시작하기 전 B팀이 아이슬랜드에서 찍어왔습니다.
2019년 프리폼(Freeform) 드라마 시즌3 ‘굿 트러플(Good Trouble)’은 팬데믹 시절 LED월의 상당한 혜택을 봤습니다. 별다른 외부 촬영 없이 LA외경(팰리스 극장 포함)을 완벽히 재현했습니다. 제작은 산타클라라에 있는 무대 세트 디자인에 LED월을 설지해 이뤄졌습니다.
[LED월 제작의 장점 “자연스러운 빛 반사]
360도 공간에 설치되는 LED월의 가장 큰 장점은 ‘현실에 가까운 현장성’입니다. 과거 2D 플레이트(Plate)나 영상 자료(Footage)을 이용하는 전통적인 영상 프로젝션이나 단순한 블루 스크린 배경은 정적이었으며 심지어 일부 화면은 인공적인 느낌이 화면에 나타날 수 밖에 없었습니다.
하지만, ‘언리얼(Unreal)’과 같은 게임 엔진이 쓰이는 LED월은 3D디지털 환경을 구축합니다. 카메라들은 변화하는 (사람들의 변화하는) 시점을 따라가는 센서가 설치돼 이미지의 시차를 조정하고 실제와 같은 환경을 만듭니다.
LED월을 이용한 최신 영화 촬영 현장은 ‘인사이더’가 보도한 기사에서도 잘 확인됩니다. 꼭 한번 클릭해 보시길 바랍니다.
LED월의 가장 큰 장점은 촬영 시 배경(볼륨(Volume))을 볼 수 있다는 겁니다.
배우들도 움직이는 배경을 뒤에 두고 연기를 할 수 있어 생생한 액션이 가능합니다. 현장에 가지 않고도 현장 분위기를 낼 수 있습니다. 개별 디스플레이(Display)로 벽을 구성 몰입형 환경을 조성하거나 개별 스크린을 사용해 움직이는 차량의 창문 밖으로 지나가는 배경의 외관을 따로 제공할 수 있습니다.
‘만달로리안’에서 구현됐던 우주 행성 신(SCENE)도 ILM(Industrial Light & Magic)의 버추얼 제작 회사 스테이지크래프트(Stage Craft)가 이렇게 만들어냈습니다.
‘만달로리안’에서 연출된 은하수 공간(Backdrops)은 4개 PC가 연결된 1,326개 LED 스크린으로 만들어졌습니다. 반원형 LED월의 크기는 높이 20피트, 길이 180피트, 270도에 달했습니다. 이 LED월 반대편에도 각각 132개 LED 스크린으로 구성된 2개의 가로 세로 20피트짜리 ‘야생(Wild, 이동 가능한)’ 월이 설치됐습니다.
이 월은 3개 PC로 별도 제어되고 배우 연기를 위한 75피트 폭 공연 공간을 만들어냈습니다.
LED에 연결된 총 7대 PC들은 게임 엔진 언리얼의 N디스플레이 시스템(nDisplay system)에 연결돼 스테이지의 모든 화면에서 이미지가 동기화됩니다.
또 이 시스템에는 휴대용 태블릿도 연결돼 팀 구성원들이 세트를 걸어다니고 즉석에서 조명과 환경을 바꿀 수 있게 했습니다. 주인공과 극의 분위기에 따라 날씨와 색깔도 휴대용 태블릿으로 바꿀 수 있습니다.
블루스크린 환경에서 제작될 당시에는, 표면 반사(reflective surfaces) 등 ‘라이트닝(Lighting)’ 문제는 가장 큰 문제였습니다.
조명 때문에 발생하는 피사체 반사는 부자연스러움을 만드는 가장 큰 원인이었기 때문입니다. 블루스크린을 쓰면 후반작업에서 이 반사를 제거하고 실제 액션과 컴퓨터그래픽에 의해 외부 환경에 맞는 반사로 대체해야 했습니다.
금속 헬멧과 갑옷을 입고 있는 ‘만달로리안’ 특성 상 만약 블루&그린 스크린으로 만들어졌다면 갑옷의 반사 때문에 상당히 어려운 후반 작업이 예상됐었습니다. 그러나 LED 월은 이 문제를 해결했습니다.
또 ILM은 LED월의 섹션(Section)들을 실제 환경에 가까운 조명과 이미지를 넣을 수 있게 설계해 ‘표면 반사’를 최소화해 했습니다. 피사체 전면을 감싸는 360도 LED월이 환경과 유사한 장면과 반사를 만들어내 부자연스러운 반사를 없앤 겁니다.
[아직은 더 많은 개발이 필요한 LED월]
그럼에도 불구하고 문제는 있습니다. 현재 LED 스크린에서 나오는 빛은 순수한 양성(unalloyed positive)은 아닙니다. 왜냐하면 그것 또한 색을 내기 때문이다.
롭 브레도우(Rob Bredow) ILM 부사장이자 최고 크리에이티브 책임자(chief creative officer)는 버라이어티와 인터뷰에서 “만달로리언 시즌1에서 처음 세트를 구성할 때 지면 색깔이 맞지 않았다.”며 “이에 원인을 찾아보니, LED월이 모래를 비추고 있었고 때문에 땅을 더 오렌지 색으로 만들고 있었다.”고 설명했습니다.
그는 또 "주황색 조명을 사용하기 때문에 색상이 두 배로 증가하므로 이제 우리가 찾던 완벽한 전환을 정확히 얻을 때까지 조정해야 했습니다”라고 덧붙였습니다.
한국 기업들도 LED월 제작에 한창입니다.
아직은 LED작업은 고비용 프로젝트입니다.
LED를 더 많이 사용하면 할 수도록 제작에 더 많은 비용, 시간과 노력이 소요됩니다.
보통, 제작 디자이너와 촬영 기본 촬영이 끝나면 현장을 떠납니다.
향후 이들은 색보정을 할 때 다시 돌아옵니다. 대형 VFX 프로젝트에서, 디지털 사전 시각화 작업(digital pre visualizations)에 아무리 꼼꼼하더라도 세트, 조명을 포함한 대부분의 비주얼 시스템이 제작진의 이해 없이 만들어집니다.
이런 문제점 때문에 블루스크린을 쓰는 영화 제작 현장은 존재하지 않는 환경에 맞추려는 부단한 노력들이 있었습니다. 편집자들은 또한 나중에 추가될 시각적 효과를 상상하며 이미지를 만들어왔습니다.
LED월을 이용하면, 제작 재연(현재)과 함께 멀리 있는 현장에 이동하는 대신 오히려 반대로 ‘무대로 지역’을 가져올 수 있습니다.
‘스타워즈’의 경우 과거에는 사막과 행성 촬영을 위해 중동 아부다비 등으로 이동해야 했지만, ‘만달로리안’은 완전히 달랐습니다. B팀 촬영 인원만 아이슬랜드, 칠레, 유타 등에 파견해 세트에 필요한 버추얼 360도 영상을 촬영했습니다. 또 숙박비, 생활비, 장비 운송비 등도 절감할 수 있습니다.
현장 로케이션 초소화는 탄소 배출량 감소에도 도움을 줍니다. ‘만달로리안’의 경우 첫 시즌 2개 제작에 30톤의 탄소 배출을 줄였습니다. 당연히 제작비도 감소됩니다.
LED월 도입으로 인해 워크플로우가 재정의되고 기술이 발전합니다.
버라이어티는 기술 발전과 관련 “LM의 새로운 헬리오(Helio) 렌더링 엔진과 엔비디아의 새로운 비디오 프로세서 덕분에 ‘만달로리안’에 사용된 LED 시스템은 시즌2가 시즌1에 비해 복잡성 처리 속도가 20배에서 30배 정도 높아졌다.”고 강조했습니다.
‘만달로리안’ 시즌2의 경우 기술이 더 좋아졌습니다. 시즌 2의 경우 카메라 추적 기능(Camera tracking ability)도 업그레이드도 돼 LED월의 안과 밖에서 작동했습니다. 실제 세트에서 시작해 LED월으로 이어지는 장면도 전혀 어색하지 않게 구현됐습니다.
[현장 적용 가능한 콘텐츠 테크놀로지 개발]
소니 픽처스 엔터테인먼트(Sony Pictures Entertainment)는 2018년 7월 방송, 영화에 적용하는 최신 디지털 기술을 육성하기 위해 ‘이노베이션 스튜디오(innovation Studios)’을 설립했습니다.
스튜디오는 캘리포니아 컬버시티에 위치해 있으며 영화 제작자, TV 쇼 제작자, 할리우드 외부인들에게도 사용할 수 있도록 설계됐습니다.
당시 이노베이션 스튜디오는 소니의 내부 엔터테인먼트 분야 기술을 딜로이트 디지털, 델 및 인텔 등 외부 파트너사와 결합시켜 ‘새로운 차원의 엔터테인먼트 경험’을 만드는데 주력했습니다.
이 회사는 CES 때마다 소니의 최신 엔터테인먼트 기술을 소개하는데 앞장서고 있습니다. 2022년에도 ‘스파이더맨’의 제작 현장을 구현했습니다.
이와 관련 이노베이션 스튜디오는 제작진들이 기존 설치된 필름 세트(film sets)를 스캔해 디지털 자산으로 저장한 뒤 나중에 이를 재활용할 수 있는 시스템을 구축했습니다.
이는 영화의 속편을 찍을 때 세트를 다시 만들 필요가 없게 하고 해외 촬영 시 세트를 저장한 뒤 이를 이노베이션 스튜디오에 돌아와서 촬영할 때 사용할 수도 있습니다.
이노베이션 스튜디오는 “만약 글로벌 지역의 지리를 압축해 저장할 수 있다면 우리는 TV프로그램 제작진들의 출입하지 못했던 장소도 상상을 통해 촬영이 가능하다”며 “저 예상 TV시리즈에 매우 적합할 것”이라고 밝혔습니다. 한국에서도 프랑스 파리의 거리나 북한 거리 등을 그대로 재현해 찍을 수 있는 셈입니다.
또 소니 이노베이션 스튜디오는 콘텐츠에 현실 부피감을 부여 하는 볼류메틱 캡처(volumetric capture) 기술도 보유하고 있습니다.
이 기술은 버추얼과 증강현실(augmented reality) 애플리케이션의 홀로그램 콘텐츠를 저장할 때 주로 사용됩니다. 이노베이션 스튜디오는 실제 제작에 적용할 수 있는 콘텐츠 관련 리서치와 기술 개발 시설로 자리 매김 중입니다.
소니는 이 스튜디오를 실험이나 장난감이 아니라 도구(Tool)라고 생각하고 있습니다.
이에 소니는 엄청난 기술을 개발하는 것이 목표가 아니라 ‘실제 스튜디오 작업에 도움되는 기술을 개발하는 것’이 전략입니다.