[콘텐츠]’20세를 80대’로 변화시키는 디즈니의 AI…애니메이터에는 깊은 고민

엔터테인먼트 관련 첨단 기술을 개발하는 '디즈니 리서치' 최근 AI 기반 배우 분장 기술 공개. 클릭 한 번으로 20세 배우가 80세 배우로 변화. 수천 개의 두상 데이터를 기반으로 한 AI와 머신러닝 기술을 이용해 얼굴 표정, 몸짓도 자연스러워. 그러나 기술 발전에 따라 어려움이 가중되는 그래픽 애니메이터

미국 캘리포니아 글렌데일에 위치한 디즈니의 리서치 스튜디오(Research Studio)는 엔터테인먼트 테크놀로지 개발에 최전선에 있는 조직입니다. 최신의 과학과 기술 혁신을 연구하는 팀들이 근무하고 있습니다.

이들의 존재 목적은 ‘사람들을 즐겁게 하게 하는 기술을 개발하는 것’입니다. 개발하는 기술들은 멀리 있지 않습니다. 내일의 영화나 오늘의 드라마, 테마파크에 등장할 만한  테크놀로지가 개발의 중심입니다.

디즈니가 공개한 디지털 셰르파 로봇

리서치 스튜디오는 그동안 많은 테크놀로지를 개발해 공개했습니다. 최근에는 디즈니랜드 등 테마파크 방문객들이 혼잡한 상황에서도 길이나 원하는 라이드(Ride)를 찾을 수 있도록 돕는 ‘로봇 셰르파(robot sherpas)’를 개발해 특허까지 취득했습니다.

락커 형태의 이 셰르파는 고객의 짐을 보관하는 동시에 길도 안내해 줍니다.  또 사용자들이 휴대용 디바이스를 사용해 조작할 수 있는 증강현실 AR(Augmented Reality) 버추얼 캐릭터 ‘퍼펫폰(PuppetPhone)’도 내놨습니다.

 

[디즈니가 새롭게 공개한 AI분장 기술]

화이트페이퍼와 데모 비디오를 통해 2022년 11월 30일 공개된 디즈니 리서치의 프로젝트도 획기적입니다. 이 프로젝트를 소개하는 이유는 영화나 드라마에 본격 적용되면 ‘기존 창작 생태계’를 흔들 수 있는 요소 기술이기 때문입니다.

이번에 디즈니 리서치가 공개한 기술은 AI(artificial intelligence)와 머신러닝(machine learning)을 이용, 배우들의 분장을 돕는 테크놀로지입니다.

이를 이용하면 애니메이터나 특수 효과가 없이 젊은이를 실제 노인처럼 보이게 할 수 있습니다. 정확히 말하면 ‘디지털 노화와 노화 방지(digital aging and de-aging process)’를 화면에 표출할 수 있습니다.

시스템(Fran)은 간단합니다. 배우의 얼굴을 촬영한 뒤 시스템에 넣으면, 자동으로 배우 얼굴을 나이들거나 젊게 만들어 화면에 표출시켜줍니다. 드라마틱한 효과를 얻기 위해, 디즈니 연구원들은 처음 수천 명의 합성 인간 얼굴을 담은 원본 데이터베이스를 만들었습니다. 자동으로 만들어진 얼굴(automatically-generated faces)은 기존 머신 러닝툴을 이용해 나이도 들고(aged) 어려지기도(De-aged)했습니다. 이 프로세스의 결과는 프란(FRAN, Face Re-Aging Network)이라고 불리는 완전히 새로운 신경 네트워크를 훈련시키(Machine Learning)는데 사용됐습니다.

사람들의 두상(headshot)이 프란에 투입되면, 소프트웨어는 얼굴의 어떤 부위가 노화 과정(주름이나 피부톤)에 의해 가장 영향을 받는지를 예측합니다. 그 뒤 이 결과를 원래 사진에 겹쳐서 노화된 모습이 화면에 자연스럽게 펼쳐집니다.

디즈니는 “심지어 머리를 움직이거나 프레임 내에 빛이 이동하더라도 배우의 모습이 보존된다.”고 밝혔습니다. 가장 중요한 점은 프란이 폐쇄 시스템이 아니라는 겁니다. 애니메이터와 배우들과 상호 교감하고 이론적으로 현재 영화나 TV프로그램 제작에도 적용될 수 있습니다.

프란이 상용화되면 현재 영화나 드라마 제작 과정이 매우 단순화되고 제작비도 크게 절감될 겁니다. 하지만 애니메이터 분장사 등 기존 직업군에는 매우 큰 타격이 될 수도 있습니다.

그동안 영화와 TV프로그램은 배우들의 나이든 연기나 젊은 시절을 기억하는 회상신 촬영을 위해 컴퓨터 애니메이션(computer animation)을 즐겨 이용해왔습니다. 컴퓨터 그래픽을 통해 배우들이 얼굴을 변화시키는 겁니다.

기즈모에 따르면 컴퓨터 애니메이션을 이용한 배우 분장 기술은 지난 2006년 처음 시작됐습니다. ‘2006년 엑스맨3: 라스트 스탠드(X-Men: The Last Stand)’에서 패트릭 스튜어트가 연기한 ‘교수’ X의 젊은 시절과 이안 맥켈런((Ian McKellan)의 마그네토 회상신에서 공식적으로 첫 선을 보였다는 것이 정설입니다.

특히, 데이비드 핀처의 2008년 영화 ‘벤자민 버튼의 시간은 거꾸로 간다.(The Curious Case of Benjamin Button)’에서는 작품 전체에 이 기술이 사용돼  많은 관심을 받았습니다.

2023년 6월 말 개봉하는 루카스필름의 최신 작품 ‘인디애나존스5’에도 젊은 해리슨 포드를 그리기 위해 사용됐습니다.(해리슨 포드는 1942년 생으로 올해 80세다) 

컴퓨터 애니메이션 기술은 많이 발전했지만 여전히 논란이 많습니다. 특히, 컴퓨터 애니메이션으로 얼굴 주름이나 형상은 자연스럽게 바꿀 수 있지만 배우들의 움직임은 바꿀 수 없습니다. 노인이지만 30~40대 처럼 행동하는 것 처럼 보이는 것이 문제였습니다.

그래픽이 노년 배우들의 몸짓까지 젊은이들처럼 빠르게 변화시킬 수 없었기 때문입니다. 로버트 드니로의 영화 ‘아이리쉬맨’도 비슷한 평가를 받았습니다.

만약 이런 작업들이 AI로 인해 자동화되고 더 자연스러워진다면 작업 환경도  많이 바뀔 것으로 보입니다.

전통적으로 컴퓨터 그래픽 작업은 많은 사람과 비용이 투입됩니다. 이에 디즈니 등 할리우드 스튜디오들에게는 AI분장은 큰 비용절감을 가져다 줄 수 있습니다.

디즈니는 컴퓨터 애니메이션 작업을 개선하는데 많은 노력을 기울이고 있습니다. 디즈니는 인건비가 비싼 물리적 제작 인력(physical production crews)을 줄이고 시각 효과 아티스트(visual effects artists)에 대한 의존도를 높여왔습니다. 제작 인력 대부분은 할리우드 직능 노조원이기 때문에 애니메이터 팀을 고용하는 것보다 더 비용이 많이 들었기 때문입니다.

프란에 앞서 2020년 디즈니 리서치 그룹은  ‘페이스 스왑(face swaps)’과 관련한 유사 알고리즘을 개발, 실제 영화에 적용해 고품질 작품을 만드는 시도를 했습니다.  여기에 AI 분장까지 자리를 잡는다면 시장은 완전히 바뀔 것으로 전망됩니다.

[발전하는 AI, 어려워지는 애니메이터]

한편, 디즈니 등 메이저 콘텐츠 제작사의 계속 높아지는 요구 수준은 버추얼 이펙트 회사와 애니메이터터들을 힘들게 하고 있습니다. 이런 압박이 기술 발전을 가져다 주지만 어려움도 가중시키고 있습니다.

2013년 버추얼 이펙트 스튜디오 리듬&휴스(Rhythm & Hues)은 영화 ‘라이프 오브 파이(Life of Pi)’의 특수 효과를 담당해 오스카(Oscar) 상까지 받았지만 11일 뒤 파산을 신청했습니다.

제작 비용 절감은  주주는 말할 것도 없고 스튜디오 입장에서는 원하는 일입니다. 그러나 이들과 함께 일하는 버추얼 이펙트 전문가나 애니메이터들에게는 좌절일 수 있습니다.

‘온도 없는 AI기술’도 마찬가지입니다. 기술에 체온까지 포함할 방법을 고민할 필요가 있습니다.