글로벌 게임산업 트렌드

마크 앙드레 카르보노 (Marc-Andre Carbonneau) | 現 에픽 게임즈 수석 연구원 (인터뷰 당시 유비소프트 수석 연구원)

마크 앙드레 카르보노(Marc-André Carbonneau)는 에픽게임즈(Epic Games)의 수석 연구원으로 재직 중이며, 머신러닝, 음성 및 신호처리, 비주얼 컴퓨팅 기술을 활용한 차세대 게임 연구를 수행하고 있다. 2017년부터 2025년 4월 중순까지는 유비소프트(Ubisoft) La Forge 랩에서 수석 연구원으로 근무했다. 주요 연구 분야는 음성 합성, 제스처 생성, 3D 아바타 재구성, 멀티모달 표현 학습 등이며, 『INTERSPEECH』, 『CVPR』, 『ECCV』 등 주요 국제 학회에 다수의 논문을 발표했다. 이번 인터뷰에서는 마크 앙드레 카르보노와 함께, 생성형 AI가 게임 개발 생태계에 미치는 영향에 대해 알아보았다.

AI가 플랫폼으로 진화했다는 말은, 이제 여러 개의 AI 모델이나 기능이 하나의 시스템 안에 통합되어 더 정교한 툴로 발전하고 있다는 뜻이다. 이건 매우 중요한 변화다. 기존의 디지털 콘텐츠 제작 도구, 예를 들어 포토샵만 봐도 다양한 기능이 한데 모여 있어야 작업 흐름이 끊기지 않는다. 반면, 특정 기능만 제공하는 AI 도구는 사용자가 다른 툴을 계속 오가야 해 생산성과 몰입감이 떨어진다.

이런 점에서 유니티(Unity)의 뮤즈(Muse)는 주목할 만한 사례다. 이 도구들은 소재 생성부터 애니메이션 제작까지 지원하며, AI 포징 보조, 텍스트-모션 변환, 중간 동작 생성이라는 세 가지 모델이 상호 보완적으로 구성되어 있다. NVIDIA도 다양한 작업(text-to-animation, 음성-표정 연동, 음성 합성, LLM 파인튜닝 등)이 가능한 AI 툴을 API 기반으로 제공 중이다. 이처럼 기능이 한곳에 모이면 사용자는 캐릭터를 처음부터 끝까지 AI로 제작할 수 있게 되며, 이는 AI 도구의 채택 가능성을 높인다.

두 번째 핵심은 UX/UI이다. 여러 기능이 한곳에 모이면 UI 설계도 쉬워지지만, 현실은 그렇지 않다. 많은 경우 UI는 사용자보다 AI 개발자 입장에서 만들어지며, 직관성이 떨어지는 경우가 많다. 게다가 AI 생성물이 완벽하지 않기 때문에 기존 방식의 수정 툴이 함께 있어야 하는데, 이 부분이 부족한 경우가 많다. 결국 유저는 다른 소프트웨어를 병행해 써야 하고, 그만큼 마찰도 생긴다. 일부 기업은 다양한 모델을 통합한 직관적 UI를 제공하려 하고 있지만, 가장 좋은 방식은 이러한 기능들이 게임 엔진 에디터 안에 직접 통합되는 것이다. 사용자는 이미 익숙한 작업 환경 안에서 바로 AI 기능을 활용할 수 있기 때문이다. 유니티는 과거 정리해고 전까지 이를 잘 해왔고, 에픽(Epic)도 해당 분야에 많은 투자를 하고 있다. 써드파티 개발자들도 엔진에 바로 적용 가능한 애드온 모듈을 출시 중이다.

그럼에도 불구하고, 현재까지 생성형 AI가 게임 개발 프로세스에 미친 영향은 아직은 매우 크지 않다. AAA 게임 기준으로 보면, 생성형 AI는 주로 프로토타입 제작이나 임시 에셋 생성, 아이디어 보드 구성 등 빠른 시각화 용도로 사용되고 있다. 게임 개발자들은 여전히 최종 결과물의 품질을 중요하게 여기며, 현재 AI로는 높은 품질 수준에 도달하지 못한다고 본다. LLM을 활용한 비스크립트형 AI 캐릭터도 일부 실험되었지만, 아직은 기술 데모 수준에 머물러 있다. 가장 주목할 만한 사례는 EA의 <칼리지 풋볼(College Football)>인데, 수천 명의 실제 선수 얼굴을 AI를 통해 생성했다. 향후 몇 년 안에 <로블록스>, <마인크래프트>, <포트나이트> 같은 메타버스 플랫폼에서 생성형 AI는 사용자 생성 콘텐츠(UGC)에 적극 활용될 가능성이 크다고 본다. 이들 플랫폼은 에셋 품질 기준이 비교적 낮기 때문이다.

게임 개발 내 생성형 AI가 활용되는 방식은 분야별로 매우 다르다. 프로그래밍 분야에서는, 게임에 특화된 사례도 있고, 일반적인 소프트웨어 산업과 비슷한 사례도 있다. 예컨대 LLM 기반 자동완성이나 코드, 유닛 테스트 생성 기능은 전 산업 공통으로 활용되며 개발자의 생산성을 높인다. 하지만 대형 게임사는 각 콘솔 플랫폼별 데이터 처리 방식이 달라 이에 대응하기 위한 별도의 추상화 계층을 구축하는 경우가 많다. 이런 고유한 구조 때문에 범용 LLM이 제공하는 효율성은 제한적이다.

게임 프로그래밍은 일반 소프트웨어와 달리, 테스트 범위가 매우 넓고 복잡하다. 다양한 플랫폼에서 수많은 상호작용과 이벤트가 발생하는 게임을 수작업으로 테스트하는 것은 불가능에 가깝다. 그래서 AI 에이전트를 활용한 자동 테스트가 매우 유용하며, 실제로 테스트 커버리지와 품질 향상에 큰 도움이 된다. 이 분야에 대한 투자가 활발하지만, 대부분 게임 코드베이스와 밀접하게 연동되어 있어 외부에 공개되지는 않는다.

그래픽 분야에서는, 생성형 AI가 이미지, 텍스처, 3D, 애니메이션, 모션 캡처 등 거의 모든 시각 에셋에 실험적으로 적용되고 있다. 하지만 게임용 그래픽 에셋은 다른 매체와 달리 빠르게 렌더링되어야 하고, 현실과 다른 미학과 물리를 구현해야 한다. 이 때문에 AI가 생성한 결과물이 실제 제작에 쓰이기엔 아직 한계가 있다. 예를 들어 중력이 낮은 환경에서의 애니메이션은 대부분의 AI 모델이 현실 데이터를 기반으로 학습되어 정확하게 생성하기 어렵다. 3D 객체도 마찬가지로, AI가 생성한 메시(Mesh)¹⁾ 가 불안정하거나 너무 무거워서 실사용이 어려운 경우가 많다. 더불어 이미지 외 3D 에셋의 학습 데이터는 그 양과 질이 현저히 부족하다.

이러한 이유들로 인해 프로그래밍 및 테스트 영역이 생성형 AI로부터 가장 많은 변화를 경험하고 있는 분야라고 생각한다. 이쪽은 반복 속도를 높이고 품질을 높이면서도 비용을 줄이는 효과가 분명히 있기 때문이다. 반면, 그래픽 분야는 아직 모델 품질이나 관련 툴이 완전히 인간의 작업을 대체하는 단계에는 이르지 못한 상황이다.

맵 내 도달 가능성(reachability)을 검증하는 용도로 성과가 있었다. 테스트 봇이 실제 플레이어와 동일한 입력 방식으로 맵을 탐색하면서, 특정 구역에 접근이 불가능한 ‘데드존’이 있는지를 파악하는 방식이다. 특히 맵 규모가 크거나 구조가 복잡한 경우, 수작업보다 빠르고 체계적으로 검증할 수 있다는 점에서 의미가 있다. 다만, 이 기능이 게임 전반의 품질을 결정짓는 수준은 아닐 수 있다.

또 다른 흥미로운 사례는, 강화학습(RL)²⁾ 기반의 테스트 봇을 통해 전투 AI의 설계 문제를 진단한 방식이다. 특정 캐릭터 빌드를 상대로 RL 봇을 학습시켰는데, 특정 전략으로 계속해서 높은 승률을 기록한다면 이는 기존 AI 트리 설계에 구조적 한계가 있음을 의미한다. 단순한 테스트를 넘어 설계 피드백 도구로도 활용될 수 있다는 점에서 주목할 만하다.

이외에도, 크래시 로그³⁾ 를 자동으로 분류해 유사 오류를 그룹화하고 심각도를 분석하려는 시도도 일부 팀에서 이루어지고 있다. QA 과정에서 반복적인 문제를 더 체계적으로 다룰 수 있다는 점에서, 점진적인 개선 효과는 기대할 수 있다.

AAA 스튜디오와 인디 스튜디오는 생성형 AI에 대한 접근과 활용 방식에서 큰 차이를 보이고 있다. AAA 스튜디오는 플레이어가 기대하는 품질 수준이 매우 높기 때문에, AI가 만든 결과물도 완성도가 높아야 한다. 반면 인디 스튜디오는 게임 가격이 저렴한 경우가 많고, 약간의 미흡함은 감수할 수 있기 때문에 AI가 만들어낸 결과물을 더 유연하게 받아들일 수 있다.

또한 대형 스튜디오에는 각 분야에 전문 인력이 포진해 있는데, 이들은 본인의 작업이 AI보다 낫다고 생각하는 경우가 많다. 이는 어느 정도 자존심과도 결부되어 있다. 반대로 인디 스튜디오에서는 한 사람이 여러 역할을 수행하는 경우가 많기 때문에, AI의 도움을 반기는 분위기가 형성되기 쉽다. 인디 스튜디오에서 직접 일해본 경험은 없지만, 전반적으로 더 실험적이고 새로운 기술을 시도하는 데 개방적인 문화가 있다고 느꼈다.

앞으로는 AI 도구가 언리얼이나 유니티 같은 주요 게임 엔진에 잘 통합될수록, 대형사와 인디 개발사 간의 격차는 줄어들 것이라고 본다. 과거에는 대규모 예산이 기술적 우위로 이어졌지만, 지금은 대부분의 AI 기술이 누구에게나 열려 있는 상황이다. 결국 향후 경쟁력의 핵심은 대규모 인력보다는 AI를 얼마나 효과적으로 활용할 수 있느냐가 될 것이다.

앞서 말했듯이, AI 도구는 엔진 내부에 통합되는 것이 가장 바람직한 방향이라고 생각한다. 기존의 편집 및 후처리 도구 옆에 AI 기능이 자연스럽게 배치되어야 작업 흐름이 원활해지기 때문이다. 유니티와 에픽은 이 점을 잘 인식하고 있으며, 뮤즈나 메타휴먼(MetaHuman) 같은 자체 AI 도구들을 개발하고 있다. 두 엔진 모두 엔진 내에서 신경망 추론이 가능하도록 지원하고 있는데, 이것도 중요한 포인트다. 대다수의 유의미한 써드파티 스타트업들도 이 두 엔진 생태계와의 통합을 우선시하고 있다.

비실시간 콘텐츠 제작 영역에서는, 써드파티 AI 도구들도 앞으로 계속해서 엔진 통합을 통해 사용자에게 접근할 것으로 보인다. 이 같은 흐름은 인디 스튜디오가 유비소프트나 EA처럼 자체 엔진을 보유한 AAA 스튜디오와도 경쟁할 수 있도록 만들어줄 것이다. 반면 런타임(게임 구동 중)에 사용되는 기능은 성능과 효율성이 핵심이기 때문에, 이 부분은 엔진 개발사가 직접 개발하고 최적화하는 것이 더 적절하다고 본다.

우리는 대화형 게임에서 음성 합성(speech synthesis) 기술을 활용해 음성 대사를 제작한 적이 있다. 이는 제작 비용을 절감하는 데도 효과가 있었지만, 무엇보다 콘텐츠 전달 속도(리드 타임)를 크게 단축시킨 점이 가장 큰 수확이었다. 다만, 음성의 품질은 여전히 실제 성우의 연기에는 미치지 못했다.

이 과정을 통해 얻은 교훈은, AI 도입으로 비용은 감소하지만 드라마틱한 감소로 이어지지는 않다는 점이다. 학습 데이터를 준비하고 모델을 훈련시키는 비용을 제외하더라도, 실제로 쓸 수 있는 음성을 얻기까지는 여러 버전을 생성하고 그중에서 선택하는 과정이 필요하며, 이 작업은 결국 사람이 해야 한다. 이후에도 기존의 음성 처리 단계(후보정, 싱크 등)는 그대로 적용되어야 한다.

그럼에도 불구하고, 이미 학습된 모델이 있는 경우 즉시 음성 생성을 시작할 수 있다는 점은 큰 이점이다. 성우를 활용할 경우에는 캐스팅, 에이전시와의 계약, 녹음 일정 조율 등 여러 단계를 거쳐야 하며, 이 전체 과정은 한 달 이상 소요될 수 있다. 이후 수정이 필요하면, 같은 절차를 다시 반복해야 한다. 이런 번거로운 절차들을 음성 합성 기술로 상당 부분 생략할 수 있다는 점은 분명한 장점이다. 하지만 아무리 AI 음성이 자연스럽게 들린다고 해도, 사람의 감정을 담아내는 연기력에는 여전히 부족한 부분이 있어 발전의 여지가 남아있는 상황이다.

상황에 따라 달라지기 때문에 명확하게 말하기 어렵지만 가장 큰 변수는 캐릭터별 대사의 분량이다. 보통 성우 녹음 세션은 실제 소요 시간과 무관하게 4시간 단위로 예약되기 때문에, 대사가 10줄이든 200줄이든 소요 시간과 비용에 큰 차이는 없다. 반면 음성 합성은 대사 수에 따라 소요 시간과 비용이 그대로 비례해 증가한다. 이런 구조 때문에, 짧은 분량일수록 오히려 성우 녹음보다 훨씬 효율적이다. 예를 들어 단순한 역할로 10줄 내외의 대사라면 기존 방식보다 약 10배 빠르고 저렴하게 처리할 수 있었다. 주요 캐릭터처럼 대사 분량이 많은 경우에도 2~3배 수준의 절감 효과를 체감할 수 있었다.

특히 오류 수정이 무료라는 점은 큰 장점이다. 많은 오류는 게임 개발 막바지에 발견되기 때문에, 시간이 부족한 상황에서 빠르게 수정이 가능하다는 점은 실제 출시 퀄리티에 영향을 미칠 수 있는 요소다. 최신 모델은 성우의 동의만 있다면 제로샷 음성 복제⁴⁾도 가능해서, 어떤 캐릭터에도 유연하게 적용할 수 있다.

실제 사례에서는 모든 대사에 활용되는 것은 아니고 짧은 분량의 파트들 위주로 음성 합성이 활용되었다. 정확한 수치를 말할 순 없지만, 전체 음성 작업의 약 20% 정도가 절감된 것으로 추정된다. 납기 측면에서는, 스튜디오 자체가 여러 녹음을 동시에 처리할 수 있는 구조였기 때문에 이 기술이 출시 속도에 직접적인 영향을 줬는지는 확신하기 어렵지만, 전체 작업량 중 20%를 줄였다는 점은 그만큼 다른 더 중요한 작업에 시간을 쓸 수 있었다는 의미이다. 최근에는 더 발전된 모델이 등장하고 있고, 실제로 내부에서도 도입되고 있다. 이들 모델은 연기 지시를 받아들이고 대사도 소화할 수 있어, 반복 작업 시간을 크게 줄여줄 수 있을 것으로 기대하고 있다.

크게 세 가지 과제가 있었다. 첫째는 데이터 문제다. 다양한 영역에 AI를 적용하려면 양질의 학습 데이터가 필요한데, 아직 충분하지 않은 경우가 많다. 우리는 새로운 데이터를 수집하고, 과거 게임에서 생성된 데이터를 정리해 합법적인 방식으로 재정비하는 데 많은 자원을 투입했다. 둘째는 추론 비용이다. 인상적인 결과를 내는 대형 신경망일수록 추론 시 많은 연산 자원을 필요로 한다. 이는 작은 네트워크를 사용하는 런타임 상황에서도 마찬가지이며, 클라우드 기반 대형 모델의 경우 비용이 훨씬 더 커진다. 이런 제약을 해결하기 위해 우리는 자체 연구용 서버 팜을 구축했고, 파인튜닝한 대형 모델을 증류⁵⁾ 방식으로 경량화했으며, 실제 실행 환경을 고려한 구조 설계를 진행했다.

셋째는 데이터의 법적 정당성 확보다. 우리는 외부 기업의 기초 모델을 활용하되, 우리 회사가 법적으로 소유하고 AI 학습용으로 활용 가능한 데이터만 사용해 파인튜닝하고 있다. 기초 모델 자체가 법적으로 완전히 정당하다고 보기 어려운 경우도 있지만, 그에 따른 책임은 외부 기업이 지도록 계약상 정리되어 있다. 우리는 우리가 진행하는 모든 작업에 대해 법적으로 명확한 데이터만 사용하는 것을 원칙으로 하고 있다.

아직 이 문제는 완전히 해결되지 못한 상황이다. 창작자 입장에서도, 소비자 입장에서도 AI에 대한 거부감은 여전히 존재한다. 우리는 AI를 창작자를 대체하는 기술이 아니라, 작업을 더 빠르게 수행하도록 돕는 조력자로 설명했다. 또한 AI의 목적은 같은 게임을 더 저렴하게 만드는 것이 아니라, 더 많은 게임을 만들고 더 큰 게임을 만드는 데 있다는 점을 강조했다. 하지만 이런 접근법은 일부 효과가 있었을 뿐, 저항을 완전히 없애진 못했다.

AI가 타인의 작업을 무단으로 활용한다는 인식을 줄이기 위해, 자사의 에셋만으로 파인튜닝한 모델을 제시하기도 했다. 그러나 이런 설명도 한계가 있다. 대부분의 베이스 모델이 이미 불명확한 출처의 데이터로 학습되었기 때문이다. 또한 우리는 새로운 프로젝트에 AI 도구를 탐색적으로라도 활용해보도록 장려했지만, 개발자가 초기부터 확신을 갖고 추진하지 않으면 AI 기능은 제대로 사용되지 않고 빠르게 폐기되곤 했다.

지금까지 가장 효과적이었던 대응은 AI가 인간보다 나은 품질을 낼 수 있는 사례를 보여주는 것이었다. 특히 모션 캡처나 이미지 생성 분야에서 품질이 확연히 향상된 사례를 직접 보여주면, 효율성보다 품질 중심의 설득이 훨씬 잘 먹힌다는 걸 알 수 있었다.

생성형 AI를 게임 개발에 활용할 때는 크게 세 가지 윤리적 문제가 발생한다. 지식재산권 침해, 일자리 대체, 그리고 게임 경험의 질 저하다. 대형 AI 모델의 대부분은 학습 데이터가 법적·윤리적으로 완전히 정리되어 있지 않은 경우가 많다. 현실적으로 이런 문제는 앞으로도 완전히 해소되긴 어려울 것이다.

윤리적이든 아니든, 이 방식이 현재 업계가 나아가는 방향이며, 많은 사람들이 결국 이를 받아들이고 현실로 받아들일 것이라고 본다. 하지만 더 심각한 문제는, AI를 이용해 실존 인물을 본인의 동의 없이 흉내 낼 수 있는 상황이 점점 쉬워지고 있다는 점이다. 대부분의 국가에서는 살아 있는 사람을 무단으로 흉내 내는 것이 불법이지만, 관련 법령에는 여전히 많은 회색지대가 존재한다.

또한 경제 전체의 안정성을 위해, 사람은 일자리를 가지고 직접 생산 활동에 참여할 수 있어야 한다. 이는 게임업계도 예외가 아니다. 나는 게임 개발사들이 인건비 절감보다는 생산성 향상을 목표로 AI를 도입하길 바란다.

마지막으로, 게임은 예술이다. 기존 자료를 반복 재조합하는 방식이 AI로 일반화된다면, 결국 게임의 창의성과 품질은 점점 떨어질 수밖에 없다. 새로운 것을 배우고 감동할 수 있는 경험이 줄어든다면, 그것은 업계 전체의 장기적 손실이 될 것이다.

현재의 AI 스타트업 투자 열풍은, AI나 게임 개발에 대해 충분한 이해 없이 단순히 ‘AI가 모든 것을 바꿀 것’이라는 기대에 기반한 경우가 많다고 생각한다. 많은 임원과 사업가들이 지나치게 낙관적인 전망을 가지고 있지만, 곧 실망하게 될 사람들도 적지 않을 것이다. 물론 AI는 분명히 산업을 바꾸고 가치를 창출할 것이다. 다만, 지금 기대되는 만큼의 속도와 규모는 아닐 것이다. 내가 바라는 것은, AI 열풍이 현실에 부딪혔을 때 과거처럼 전면 철회하지 않고, 현명한 사람들이 무엇이 효과 있었고 무엇이 아니었는지를 잘 분별해주는 것이다. 1980년대에 있었던 AI 겨울6)처럼 극단적인 회귀가 반복되지 않았으면 한다.

AI 기술 기업의 가치를 판단하는 기준은 단순하지만, 실제로 측정하기는 어렵다. 핵심 질문은 이렇다. “이 AI 기술이 실제로 게임을 더 좋게 만들었는가?” 즉, 게임이 더 재미있어졌는가? 더 아름다워졌는가? 아니면 개발 속도를 개선해 실질적인 가치를 더했는가? 이런 부분은 결국 판매 성과와 평론가들의 반응 등 외부 평가를 통해 가늠할 수 있다.

보다 간단하게 확인할 수 있는 기준도 있다. 바로 “이 기술이 실제 출시된 게임에 적용되었는가?”라는 점이다. 단순히 데모 프로젝트나 시범 협업이 아닌, 실제 상용 게임에 통합되어 결과물을 만들어냈는지를 보면 된다. 이 기준이, 해당 스타트업이 실질적인 기술력을 갖고 있는지, 혹은 그저 화려한 데모로 주목을 받는 데 그치는지를 구분해주는 핵심 척도라고 생각한다.

앞으로 몇 년 안에, 게임에서 사용할 수 있는 콘텐츠를 만드는 것이 훨씬 쉬워질 것으로 보인다. 이는 곧 게임 제작의 진입 장벽을 낮추고, 개발의 민주화를 가져오게 될 것이다. 그 결과 소규모 스튜디오들도 더 많은 기회를 얻고, 플레이어들에게 더 다양한 경험을 제공할 수 있게 될 것이다. 하지만 시장은 이미 포화 상태이고, 이용자의 관심은 소수 대형 브랜드가 대부분 점유하고 있다. 이로 인해 경험의 다양성은 늘어날 수 있으나, 성공적인 주목을 받기는 더 어려워질 수 있다.

가장 주목하고 있는 변화는 사용자 생성 콘텐츠(UGC)의 급증이다. AI의 도움으로 이제 거의 누구나 게임처럼 보이는 콘텐츠를 만들어 다른 사람들과 공유할 수 있게 되었다. 이 흐름은 이미 시작되었고, <로블록스>가 대표적인 사례다. 이는 기존 게임과는 조금 다른 방식의 경험을 제공하면서도, 특히 젊은 세대에게 큰 인기를 얻고 있다. 이 점은 앞으로 이 흐름이 더욱 커질 것이라는 신호이기도 하다.

이러한 변화에 대비해, 게임 스튜디오들은 UGC를 수용할 수 있는 도구를 자사 게임 안에 마련하고, 부적절한 콘텐츠를 걸러내는 큐레이션 체계를 어떻게 구축할지 고민해야 한다. 또한 이런 흐름에 대응할 때 독립형 게임으로 대응할 것인지, 아니면 <로블록스>나 <포트나이트>처럼 커다란 메타버스 플랫폼 안에서 접점을 마련할 것인지 전략적으로 판단할 필요가 있다.