구글 VLOGGER: 사진 1장으로 '움직이는' AI 아바타 생성

표현력 부족: 친구와 대화할 때 손짓 발짓 없이 얼굴 근육만 움직인다고 상상해 보세요. 정보는 전달되겠지만, 감정이나 뉘앙스는 전혀 전달되지 않을 겁니다.
어색한 잘림(Crop): 멋진 상반신 사진을 넣어도, AI가 “난 얼굴밖에 못해”라며 억지로 얼굴만 싹둑 잘라내서 작업했습니다.
얼어붙은 배경: 얼굴만 애니메이션처럼 움직이고 몸과 배경은 그림처럼 멈춰있으니, 부자연스러움이 극대화됐죠.

VLOGGER는 이 문제를 정면으로 돌파합니다. 얼굴만 잘라내는 ‘땜질’ 방식이 아니라, 오디오에 맞춰 이미지 전체를 ‘다시 그린다’는 개념으로 접근합니다.

즉, 말하는 사람의 어깨 들썩임, 몸의 기울어짐, 손의 움직임까지 오디오와 동기화하여 완전히 새롭게 만들어냅니다. 덕분에 AI 아바타가 단순한 ‘정보 낭독 기계’에서 ‘공감하는 대화 상대’로 진화할 수 있는 길이 열린 것입니다.

💡 VLOGGER의 작동 원리: 2단계 확산 모델 파헤치기

그렇다면 VLOGGER는 이 복잡한 일을 어떻게 해내는 걸까요?

그 비밀은 ‘두 개의 전문 AI가 협업’하는 2단계 구조에 있습니다. 마치 ‘모션 캡처 전문 배우’와 ‘초현실 3D 아티스트’가 함께 일하는 것과 비슷합니다.

첫 번째 AI는 오디오를 듣고 ‘이 말에 어울리는 움직임이 무엇일지’를 정합니다.

입력: 사용자의 음성 파일
작동: AI(확산 모델)가 오디오 파형을 분석해, “이 단어에서는 고개를 끄덕이고, 이 부분에선 손을 이렇게 들어야겠다” 같은 3D 신체 동작(포즈), 얼굴 표정, 시선 등을 예측합니다.
특징 (이게 중요합니다): 이 모델은 확률적(stochastic)입니다. 즉, 같은 오디오를 넣어도 매번 조금씩 다른, 자연스러운 제스처를 만듭니다. 만약 매번 똑같이 움직인다면 바로 로봇처럼 보이겠죠?
출력: 음성 길이에 딱 맞는 3D 모션 설계도 (뼈대 데이터)

두 번째 AI는 이 3D 모션 설계도를 받아, 우리가 제공한 사진에 ‘살’을 붙여 실제 비디오를 그려냅니다.

입력:
- 사용자가 준 단 한 장의 참조 이미지
- 1단계에서 만든 3D 모션 설계도
작동: 강력한 이미지 생성 AI가 ‘시간’ 개념을 탑재했습니다. 단순히 사진 한 장 한 장을 따로 그리는 게 아니라, “방금 전 프레임이 이랬으니, 다음 프레임은 이렇게 연결되어야 자연스럽지”를 계산하며 영상 전체의 일관성을 유지합니다.
핵심 기술 (Temporal Outpainting): 긴 영상을 한 번에 만드는 건 AI에게도 벅찬 일입니다. 그래서 VLOGGER는 짧은 클립(예: N 프레임)을 먼저 만들고, 그 클립의 마지막 장면을 참고해서 다음 클립을 자연스럽게 이어 붙이는 ‘릴레이’ 방식을 사용합니다. 덕분에 수천 프레임의 긴 영상도 안정적으로 만들 수 있습니다.
출력: 참조 이미지 속 인물이 모션 설계도에 따라 자연스럽게 말하고 움직이는 최종 비디오

아무리 똑똑한 AI라도, 좋은 ‘교과서’ 없이는 제대로 학습할 수 없습니다. VLOGGER의 핵심 경쟁력은 바로 MENTOR라는 이름의 압도적인 학습 데이터셋입니다.

연구진은 “기존 교과서들(데이터셋)은 손동작 예시가 너무 부족하고 편향되어 있어!”라고 판단, 아예 새로운 교과서를 직접 만들었습니다.

엄청난 규모: 무려 80만 명이 넘는 다양한 정체성(피부톤, 연령 등)의 사람들이 포함되었습니다. 이는 기존 데이터셋보다 10배 이상 큰 규모입니다.
핵심 품질: 총 2,200시간(8백만 초)이 넘는 이 영상 데이터에는, 사람들이 실제로 말할 때 사용하는 역동적인 손 제스처가 가득합니다.
공정성: 이 방대한 ‘멘토’ 데이터 덕분에 VLOGGER는 어떤 톤의 목소리에 어떤 제스처가 어울리는지 깊이 있게 학습할 수 있었으며, 다양한 인종이나 연령대에 대해서도 편견 없이 공정하게 작동할 수 있게 되었습니다.

말로만 설명하면 감이 잘 안 오실 겁니다. VLOGGER가 기존의 유명한 모델들(SadTalker, StyleTalk 등)과 비교해 정확히 무엇이 다른지 표로 간단히 정리해 봤습니다.

요약하자면, VLOGGER는 이미지 품질이나 인물 정체성 유지 같은 기본기는 물론, 특히 ‘표정의 다양성’과 ‘움직임의 자연스러움’에서 기존 모델들을 압도합니다. 드디어 ‘얼어붙은 몸’ 문제를 해결한 것이죠.

이 기술은 단순히 ‘웃긴 짤’을 만드는 데 그치지 않습니다. VLOGGER의 잠재력은 우리 일상과 산업 전반에 걸쳐있습니다.

콘텐츠 제작의 혁명: 제 프로필 사진 한 장만 있으면, 제가 직접 카메라 앞에 앉지 않아도 유튜브 영상이나 교육 비디오를 만들 수 있습니다. 팟캐스트를 영상 버전으로 바꾸는 것도 순식간이겠죠.
진짜 같은 AI 비서: 사용자와 눈을 맞추고 제스처를 써가며 대화하는 AI 비서는 지금의 딱딱한 스피커와는 비교도 안 되는 공감과 유대감을 줄 것입니다.
손쉬운 비디오 편집: 이 기술을 응용하면, 이미 찍은 영상에서 발표자가 눈을 감은 순간을 뜨게 하거나, 입을 다물게 하는 등 세밀한 ‘비디오 수정(인페인팅)’도 가능해집니다.
궁극의 개인화: 만약 한 사람의 비디오 데이터를 조금 더 학습시킨다면(fine-tuning), 그 사람 고유의 미세한 버릇이나 표정까지 완벽하게 재현하는 ‘디지털 트윈’도 만들 수 있습니다.

VLOGGER는 AI 아바타 생성 분야에서 진정한 ‘퀀텀 점프’를 이뤄냈습니다. ‘입술만 뻥긋거리는’ 1차원적인 단계를 지나, 드디어 인간의 복잡한 비언어적 소통 방식인 ‘제스처’의 영역에 발을 들였습니다.

물론 이 기술이 아직 완벽하다는 의미는 아닙니다. 구글 연구진도 논문에서 기술적 한계와 함께, 딥페이크 등 악용 가능성에 대한 사회적 고민을 함께 언급하고 있습니다.

하지만 VLOGGER가 제시한 방향성은 분명합니다. AI가 인간과 진정으로 소통하기 위해서는, 단순히 ‘무엇을 말하는지(What)’뿐만 아니라 ‘어떻게 말하는지(How)’까지 학습해야 한다는 것입니다.

사진 한 장으로 살아 숨 쉬는 ‘디지털 페르소나’를 만드는 시대, 생각보다 훨씬 가까이 다가온 것 같습니다.