인공지능(AI) 기술이 빠르게 발전하면서 이제는 데이터 분석을 넘어 예술성·창의성을 담은 콘텐츠 생성까지 가능한 수준에 이르렀다. 이러한 기술에 힘입어 AI는 영화, 음악, 게임과 같은 다양한 콘텐츠 분야에서 그 존재감을 뽐내고 있다. 인간의 섬세한 손길이 필요했던 음성, 영상과 같은 분야에서도 AI가 종횡무진 활용되고 있다. 특히 전문성과 혁신을 추구하는 스타트업들이 이러한 변화에 불을 지피고 있다.

음성·영상 멀티모달 AI 기술을 기반으로 다국어 더빙 음성을 지원하는 허드슨AI는 최근 유튜브 크리에이터를 상대로 한 AI 더빙 서비스 '팀버'의 베타 버전을 출시했다.

허드슨AI는 자체 음성 합성 모델 기술인 액팅 TTS를 기반으로 다국어 더빙을 제공한다. 액팅 TTS는 AI를 이용해 크리에이터의 목소리뿐 아니라 말투나 비언어적 표현까지 모사해낼 수 있다. 허드슨AI가 독자적으로 개발한 AI립싱크 기술을 통해 더빙 과정에서 자연스럽게 배우의 입 모양까지 바꿀 수 있다. 허드슨AI 기술은 드라마나 영화, 게임은 물론 다국어 더빙, 오디오 웹툰 등 다양한 장르에 폭넓게 적용되고 있다.

이미 여러 유튜버가 허드슨AI 기술을 기반으로 다국어 더빙 콘텐츠를 제작하고 있다. 구독자 2330만명을 보유한 글로벌 애니메이션 유튜버 '계향쓰'는 애니메이션 캐릭터의 대사를 영어, 스페인어, 일본어로 더빙한 쇼츠(짧은 영상)를 선보인 바 있다. 유튜브의 국가 설정을 변경하면 원하는 언어로 더빙된 영상을 시청할 수 있다. 국내 크리에이터 '침착맨' 역시 지난 10월 자신의 영상을 영어, 일본어, 중국어, 스페인어, 러시아어로 더빙한 샘플을 공개하기도 했다. 신현진 허드슨AI 대표는 "AI 현지화 기능을 통해 많은 크리에이터들의 글로벌 진출과 성장을 도울 수 있는 도구로 자리 잡아 나갈 것"이라고 말했다.

최근 AI를 기반으로 한 '휴먼 솔루션'도 진화를 거듭하고 있다. 기존 AI 휴먼 솔루션이 기술적 한계로 미리 입력한 정보를 전달하는 일방향 콘텐츠에만 적용됐다면 이제는 사용자와 양방향 소통이 가능한 대화형 AI 휴먼 솔루션이 상용화되고 있다. 스타트업 브이몬스터는 자체 개발한 경량화 알고리즘을 적용한 온디바이스 기술을 기반으로 이 시장에서 주목받고 있다. 브이몬스터는 생성형 AI 기술을 활용해 실시간 소통이 가능한 대화형 AI 휴먼을 개발하고 있다. 생성 모델 경량화 기술을 통해 AI 휴먼 상용화는 물론 사진 한 장만으로도 AI 휴먼을 제작하는 기술을 확보했다. 브이몬스터를 이용하면 누구나 자기 자신만의 AI 휴먼을 제작할 수 있는 셈이다.

특히 경량화 기술을 기반으로 기존 AI 휴먼 서비스가 가지고 있던 느린 생성 속도와 비싼 운영 비용의 한계를 극복했다는 평가를 받고 있다. GPU 클라우드를 사용하지 않고 AI 휴먼 생성이 가능할 뿐 아니라 챗GPT 등 생성형 AI와 실시간으로 연동돼 사용자와 자연스러운 대화가 가능하다.

이러한 기술을 인정받은 브이몬스터는 YBM과 AI 휴먼 영어교육 서비스 공동 개발 협약을 맺었을 뿐 아니라 온라인 추모 서비스 전문기업 다큐다와도 AI 버추얼 휴먼 사업 추진을 위한 협약을 맺었다. 민동찬 브이몬스터 대표는 "지속적인 연구개발을 기반으로 AI 휴먼 기술의 고도화를 진행 중"이라며 "AI 휴먼이 다양한 분야에서 인간과 소통해 나갈 수 있도록 준비할 것"이라고 말했다.

스타트업 하이퍼마인드는 생성형 AI를 기반으로 텍스트를 이용해 3D 모션그래픽을 생성하는 플랫폼을 제공한다. 예를 들어 '사람이 손을 위로 뻗으면서 춤을 추고 있는 장면을 만들어줘'라고 입력하면 이에 맞는 2D·3D 모션을 만들어주는 방식이다.

하이퍼마인드는 이러한 기술을 기반으로 지난 6월 몽타미디어와의 인수·합병(M&A)을 발표하기도 했다. 몽타미디어는 2D·3D 기반 애니메이션과 다양한 미디어 콘텐츠, 광고 솔루션 분야 제작사로 베트남에 60여 명 규모 인력을 운영하는 기업이다. 베트남에 제작 기지를 두고 인도네시아, 말레이시아 등 시장 규모가 큰 동남아시아 국가에 진출을 꾀하고 있다. 이 과정에서 인도네시아 대기업 MNC그룹과 AI 기술지원 독점계약을 체결하기도 했다. 한국애니메이션제작자협회와는 데이터를 공유하고 AI 기술 지원을 하고 있다.

황영진 하이퍼마인드 대표는 "우리는 효율적이고 창의적인 3D 콘텐츠를 만들어 고객사에 제공해 나가고 있다"며 "3D 모션 데이터 분야에서 독보적인 기업으로 성장해 나갈 것"이라고 말했다.

세 기업은 모두 AI 분야 가능성을 인정받아 아산나눔재단에서 운영 중인 기업가정신 플랫폼 '마루'에 입주했다. 아산나눔재단 관계자는 "최근 많은 AI 스타트업이 서로 다른 방식으로 관련 기술을 콘텐츠에 접목해 나가고 있다"며 "관련 스타트업이 도전과 성장을 이어갈 수 있도록 지원을 아끼지 않을 것"이라고 말했다.

[원호섭 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]