AI 기술에 영상콘텐츠를 접목하다

“우리는 남들보다 선행학습이 잘 된 것, 그 격차를 유지하려고 노력하고 있습니다.”

Q. 스튜디오메타케이는 어떤 회사인가

(김) 2022년에 드라마 제작사로 처음 설립했다. 그러던 중 방송 편성이 축소되면서 시장이 안 좋아져서 가상 인간 시장으로 사업 전략을 변경했다. 가상 인간을 개발하는데 돈과 시간이 많이 들어가서, 그 부분을 AI로 전환하려고 연구하다 보니까 AI 영상을 잘하는 업체가 되었다. 결과적으로는 가상 인간과 AI 콘텐츠를 가지고 드라마와 영화 개발에 오히려 더 많은 힘을 받고 있고 이를 모두 합쳐 콘텐츠를 잘 만드는 기업으로 가려고 한다.
회사는 드라마를 기획·개발하는 콘텐츠팀과 버추얼 휴먼과 AI를 같이 하는 기술팀(DX팀)으로 구성된다. 매출 구조는 드라마가 가장 크지만, 창업 3년밖에 안 돼서 이제 기획·개발이 완료된 단계다. 지난 3년간 대본을 써서 7-8 작품이 드라마 편성 논의를 하고 있다. 드라마 매출은 아마 내년이나 내후년부터 본격적으로 나올 것 같다. 지금까지는 주로 가상 인간과 AI 영상 제작으로 매출이 발생하고 있다.

Q. AI 기술을 영상콘텐츠 제작에 도입하게 된 계기는 무엇인가

(김) 원래 서울예대에서 연출을 전공하고, 미국에 유학갔다가 2006년부터 VFX 회사를 운영했다. 그 때 다수의 할리우드 영화 제작에 참여하며, 기술에 대한 접근이 남들보다 빨랐던 것 같다. 2013년도 귀국한 이후부터는 전임 교수로 활동하면서 VR·AR이나 메타버스 등의 기술을 누구보다 먼저 관심을 갖고 학생들에게 보여줬던 것 같다.
아무래도 기술 접근성이 빠르다 보니까 남들보다 먼저 도입을 했고, 가상 인간을 제작하다가 앞으로 영상콘텐츠는 AI로 가야 된다는 생각을 했다. 아마 최근 6개월에서 1년 사이에 AI 콘텐츠 산업에 많이 진입했을텐데, 우리는 그보다 훨씬 먼저 해서 선행학습이 잘 된 것 같다. 6개월 정도 남들보다 빠르다고 보고, 그 격차를 유지하려고 노력하고 있다.

프로젝트 사례: 버츄얼 아티스트와 AI 드라마 제작

“버츄얼 아티스트도 결국 콘텐츠를 잘 만나야 뜰 수 있습니다.”

버츄얼 아티스트 프로젝트

Q. 흔히 버츄얼 휴먼(가상 인간)이라고 알려져 있는데, 버츄얼 아티스트라는 표현을 쓰고 있다. 버츄얼 아티스트 그룹을 만들 때 가장 중요하게 생각한 부분은 무엇이었나

(김) 대부분 회사들이 가상의 인간을 만들어낸다는 뜻에서 버추얼 휴먼이라는 단어를 많이 쓴다. 우리가 버추얼 아티스트라는 단어를 쓰는 이유는 이 가상 인간을 하나의 실제 연예인하고 똑같이 보기 때문이다. 실제 연예인이 잘생겼다고 해서 뜨는 것이 아니라 결국은 콘텐츠를 잘 만나서 뜨는 것이다.(그래서 버츄얼 아티스트 사업도 콘텐츠가 중요하다)
우리가 보유한 버츄얼 아티스트 전부 음원 활동을 하고 있고 드라마나 영화 출연, 광고, MC같이 다양한 엔터테이너 활동으로 사업을 확장하고 있다. 여기서 나온 부가적인 음원 수익이나 출연료를 회사가 보유할 수 있기 때문에 IP 기업으로 가는 게 목표고 기술은 부가적인 부분이라고 생각하고 있다.

Q. 일반 엔터테인먼트 회사처럼 버츄얼 아티스트의 활동을 관리·운영하고 있는가

(김) 지금까지는 우리가 알아서 했다. 멤버들을 한 번에 내기보다는 1명씩 데뷔시키고 각 멤버의 SNS 운영이나 활동을 지원했는데, 사업이 커지다 보니까 여러 엔터 회사와 이야기 중이다. 한 명씩 계약할지 아니면 그룹 멤버 4명을 한꺼번에 넘길지, 음원만 넘길지 배우까지 같이 넘길지 계속 논의 중이다. 아무래도 우리가 엔터테인먼트 회사가 아니다 보니까 홍보나 마케팅 영역은 무리가 있어서 그 부분은 협업으로 풀어갈 생각이다.

Q. 버츄얼 아티스트를 실사 영화나 드라마 콘텐츠와 결합하는 작업 현장이 궁금하다

(김) 아무래도 우리 버츄얼 아티스트가 유명한 사람이라면 현장에서 감독님이나 스태프들이 양해를 많이 해 주실텐데, 거의 신인이지 않나. 그렇다 보니 현장의 빠른 템포에 맞춰서 제작에 투입된다는 게 조금 어렵긴 하지만 향후에는 더 시장이 열리지 않을까 생각하고 있다.
버츄얼 아티스트가 출연할 때는 현장에 직접 나가서 작업한다. 가상 인간을 만드는 기술이 여러가지 있는데 풀 3D(Full 3D), 게임 엔진으로 만드는 리얼타임 랜더링 엔진, 딥페이크, 생성형 AI 등이 있다. 우리는 이 4가지 기술을 상황에 따라 섞어서 쓰고 있다. 예를 들어 바스트 샷에서는 딥페이크가 퀄리티와 가성비가 제일 좋지만, 화각에 문제가 있다. 전면밖에 안되기 때문에 아나운서나 클로즈업에는 쓸 수 있지만 다양한 활동을 할 때는 쓸 수 없다. 로우 앵글이나 다양한 각도가 필요할 때는 풀 3D를 사용한다. 반대로 와이드 샷이나 얼굴이 디테일하게 안보이는 샷에서는 게임 엔진이나 생성형 AI를 활용한다. 전쟁 장면이나 위험한 신(Scene)들은 충분히 AI로 대체할 수 있다고 생각한다. 보통 프리 프로덕션 단계에서 화각이나 콘티를 미리 만들어서 어떤 기술을 사용해 갈지 판단하고, 현장에서도 화각이나 렌즈를 보고 판단한다.

오리지널 콘텐츠(드라마·영화) 제작

Q. 여러 오리지널 콘텐츠 프로젝트를 진행하고 있는데, 보유하고 있는 IP와 제작 과정에 대해 소개해달라

(김) 현재 기획·개발 중인 드라마 작품이 10개 이상인데, 절반 정도는 웹툰·웹소설 기반의 IP로 원작 판권을 확보하고 작가님, 감독님들과 같이 디벨롭한다. IP 자체를 처음부터 개발하는 오리지널 콘텐츠도 진행한다. <파동>, <마라>, <왕비어천가>는 웹툰·웹소설 기반이고, <사또 박하늬>처럼 오리지널 IP도 같이 개발하고 있다.
내부 콘텐츠 팀에서 기획·개발할 때 우선 좋은 작가들과 계약하고 회의를 통해서 기획안을 쓰고 대본을 4회까지 뽑는 데 보통 한 2년 정도 걸리는 것 같다. 현재 회사에 감독 8명, 작가 9명이 계약되어 있다.

이미지 1

<사또 박하늬>, <CRUSH>, <파동>, <왕비어천가>

(출처: 스튜디오메타케이 제공)

Q. 촬영 감독, 작가뿐 아니라 AI 제작까지 다양한 인력과 협업을 진행하는데, 서로 다른 직종의 인력을 효과적으로 운영하는 방법이 있나

(김) 창작이라는 게 굉장히 예민한 부분이라서 감독님과 작가님들과 커뮤니케이션을 많이 해야 한다. 서울예대 출신이라 업계에 네트워크가 있어서 좋은 감독님, 작가님과 개인적인 친분이 있기 때문에 많은 부탁을 드려서 같이 진행할 수 있었다. 함께 일하는 직원들도 제가 직접 가르친 서울예대와 경기과학기술대학교 졸업생 가운데 가장 잘하는 친구들로 뽑아왔다. AI를 이용한 제작은 프로젝트 1개를 1명에게 온전히 맡겨서 퀄리티 컨트롤을 하고 있다. 각자 잘하는 게 다르기 때문에 다큐나, 예능, 드라마 등 콘텐츠 성격에 따라 잘할 수 있는 직원에게 각각 프로젝트를 맡긴다.

AI 활용한 방송영상 콘텐츠 제작의 미래 전망

“툴은 창작자의 능력을 도와줄 뿐, 창작자의 기본 능력이 있어야 콘텐츠를 잘 만들 수 있다고 봅니다.”

Q. AI를 활용한 영상물 제작이 급증하면서 최근 윤리나 저작권 논란이 있다. 창작자이자 교육자로서 이에 대해 어떤 고민을 갖고 있는가

(김) 최근 들어 저작권 이슈에 대한 질문을 상당히 많이 받는다. 사실 영상에서 장소나 로케이션 촬영에 대한 저작권 이슈는 별로 없지만, 예를 들어 명동을 찍었는데 지나가는 사람이 찍혔을 경우 그 사람 얼굴에 대한 초상권 문제가 생기는 것이다.
마찬가지로 AI로 일정 장소나 제품을 만드는 건 저작권 문제가 거의 없다고 보는데 가상 인간이 등장할 때, 우연히 그 사람과 똑같이 생긴 사람이 존재하면 문제가 될 수 있다고 생각한다. 그래서 웬만하면 가상 인간을 만들 때 저작권 이슈를 최대한 피해 갈 수 있는 여러 가지 노하우를 가지고 있다.
AI 저작권법도 여러 논의가 되고 있어서 AI가 만든 콘텐츠는 100% AI가 만들었다는 워터마크를 넣는 시행령이 논의 중인 것으로 알고 있다. 그러나 기준이 애매한 경우가 있다. 컴퓨터 그래픽이나 VFX로 만들어진 이미지도 사실은 가상으로 만든 것이다. 예를 들어 AI로 1차로 만든 영상에 추가로 실사 촬영하거나 혹은 CG로 살짝 수정하는 경우 100% AI 제작물이라고 볼 수가 없다. 아직은 남은 과제가 많다고 생각하지만, 상업적으로 지금 AI 제작물을 쓰는 것에는 크게 문제가 없다고 알고 있다.

Q. 미래의 창작자들이 AI 시대에 갖춰야 할 중요한 역량이 있다면 어떤 것이 있을까

(김) 최근 고민은 점점 교육기관에서 AI 툴을 가르치는 수업이 많아진다는 것이다. 기술이나 툴에 대한 내용은 이미 온라인 교육에 많다고 생각한다. 오히려 영상문법이나 촬영, 편집과 같이 기본적인 영상을 만드는 데 필요한 학문의 기초를 튼튼히 했을 때 AI 툴을 다루는 능력은 플러스 알파가 된다고 본다.
우리는 AI 콘텐츠를 잘하는 이유는 회사 직원 대부분을 기획부터 연출, 촬영, 편집, 음향까지 가능한 사람들로 뽑기 때문이다. 그 뒤에 AI 기술을 학습시켜 콘텐츠를 만들어낸다.
지금은 누구나 이미지 한 장, 영상 클립 하나는 만들 수 있는 시대다. 하지만 콘텐츠 드라마나 영상을 만드는 건 또 다른 이야기다. 카메라 렌즈부터 구도, 화각, 이미지 라인 등 영상 문법에 대한 기초 학습이 되어 있어야만 AI 콘텐츠를 잘 만들 수 있다고 본다. 결국 툴은 창작자의 능력을 도와줄 뿐, 창작자의 기본 능력이 있어야 콘텐츠를 잘 만들 수 있다고 본다.

Q. AI를 활용한 영상콘텐츠 창작자를 꿈꾸는 분들에게 한마디 해 준다면

(김) 제가 학생 때만 해도 방송용 카메라 한 대에 1억, 편집 툴 하나에 1억씩 했었다. 그래서 그것을 만질 수만 있으면 취업이 되던 시기였다. 그런데 어느 순간 일반인들이 모바일로 촬영하고 집에서 편집을 하면서 누구나 촬영과 편집을 할 수 있게 되었다. 지금 영상 산업이 유튜브 같은 일반 산업과 광고나 드라마·영화 같은 고퀄리티 영상 산업으로 양분되어 있다고 보는데 AI 콘텐츠도 유사하다고 본다. 누구나 AI 콘텐츠를 만들 수 있지만 하이엔드급의 영상을 만드는 건 전문가가 필요한 일이다.
흔히 AI를 쓰면 비용이 저렴할 것이라고 생각한다. 예를 들면 ‘100억 원짜리 드라마를 AI를 써서 50억 원에 만들고 싶다’ 이런 문의가 제일 많이 오는데, 그렇게 만드는 건 의미가 없다고 본다. 한국이 글로벌에서 경쟁할 때 가장 문제되는 게 제작비가 적다는 것이다. 100억 원짜리 드라마를 50억 원에 만드는 것보다는 100억 원짜리 드라마를 AI를 써서 1천억 원짜리처럼 만들어서 글로벌 시장에 나갈 때 큰 의미가 있다고 본다. 그래서 비용을 떨어뜨리기보다는 오히려 같은 비용을 잘 써서 더 높은 퀄리티를 뽑아낼 때 AI 제작이 더 큰 의미가 있지 않을까 생각한다.

김광집

김광집
(스튜디오메타케이 대표·서울예술대학교 영상학부 교수)

서울예술대학교 영상학부 교수이자 생성형 AI 콘텐츠와 버츄얼 휴먼 전문 제작사인 스튜디오메타케이 대표다. 서울예술대학교에서 연출을 전공한 후 샌프란시스코주립대학교에서 학사 학위, 뉴욕시립대학교에서 제작석사(MFA) 학위, 광운대학교에서 공학박사 학위를 받았다. 미국 디지트로브(Digitrove,Inc)에서 VFX 프로듀서로 재직하며 <지아이조>(2009), <아이언맨>(2008) 외 다수의 할리우드 영화와 광고, 게임 제작에 참여했다. 애플의 파이널컷프로(Final Cut Pro) 국제 공인 트레이너로, AI 영상, 가상현실 콘텐츠 및 다양한 특수 영상 분야 제작 경험이 있다.