실패 없는 AI 영상 생성 프롬프트 작성법: HHH 3원칙과 VPO 작동 원리
텍스트-비디오 AI, 내가 쓴 프롬프트는 왜 실패할까?
“강가에 누워 혀를 내민 개.”
텍스트-비디오(Text-to-Video) AI에게 이렇게 입력해 보신 적 있나요? 아마 기대와 달리 기괴한 생명체가 나오거나, 엉뚱한 배경이 합성되었을 겁니다.
이유는 간단합니다. AI와 여러분의 ‘언어’가 다르기 때문입니다.
우리는 “강가에 누운 개”라고 짧게 말하지만, AI가 학습한 데이터는 “흰색과 갈색 털이 섞인 작은 개가, 햇살이 비치는 푸른 풀밭 위에 네 다리를 뻗고 누워 있으며…” 처럼 지독할 정도로 상세합니다. 이 사용자 입력과 학습 데이터 사이의 간극(Gap), 이것이 바로 영상 생성 실패의 핵심 원인입니다.
오늘은 이 간극을 메우기 위해 칭화대와 Zhipu AI가 내놓은 해법, VPO(Video Prompt Optimization) 프레임워크를 뜯어보겠습니다. 단순히 말을 예쁘게 다듬는 수준을 넘어, 어떻게 AI를 ‘제대로 된 통역사’로 훈련시켰는지 그 원리를 살펴봅니다.
1. 무턱대고 길게 쓴다고 능사가 아니다 (기존 방식의 한계)
GPT-4 같은 모델에게 “프롬프트 좀 길게 늘려줘”라고 부탁하는 방식, 많이들 쓰시죠? 하지만 이 방식은 ‘영상 생성’ 관점에서 보면 치명적인 약점이 있습니다.
기존 방식의 세 가지 문제점
- 안전 불감증: 묘사가 길어지다 보니 의도치 않게 폭력적이거나 그로테스크한 표현이 섞입니다.
- 핵심 이탈: 미사여구를 붙이다가 정작 사용자가 원한 ‘본질’을 놓칩니다.
- 영상 문법 무시: 글은 화려한데, 영상 모델이 이해할 수 없는 추상적인 표현만 가득합니다.
VPO 연구진은 이를 해결하기 위해 HHH 3원칙을 도입했습니다.
Harmless (무해함): 유혈, 폭력 등 시각적 불쾌감을 주는 요소를 제거합니다.
Accurate (정확함): 사용자의 핵심 의도를 왜곡하지 않습니다.
Helpful (유용함): 영상 모델이 ‘그림’을 그릴 수 있도록 구체적이고 시각적으로 묘사합니다.
2. VPO의 작동 원리: 레시피만 보지 말고, 요리를 맛봐야 한다
VPO가 기존 방식과 차별화되는 지점은 피드백의 대상입니다. 텍스트만 잘 쓰는 게 목표가 아니라, 실제 영상이 잘 나오는가를 확인합니다. 과정은 크게 2단계입니다.
Step 1. 자가 교정 (Self-Correction)
먼저 LLM(거대언어모델)에게 비평가 역할을 맡깁니다. 스스로 생성한 프롬프트를 보고 “이거 너무 폭력적인가?”, “사용자 의도가 빠졌나?”를 판단하게 하여 1차적으로 데이터를 정제합니다.
Step 2. 미각 테스트 (Multi-Feedback Preference Optimization)
이 부분이 핵심입니다. 아무리 레시피(텍스트 프롬프트)가 완벽해 보여도, 막상 요리(영상)를 해보면 맛이 없을 수 있습니다.
- 기존 방식: 글(Text)만 잘 썼는지 검사함.
- VPO: 글로 만든 영상(Video)까지 검사해서 피드백을 줌.
VPO는 VisionReward 모델을 사용해, 생성된 프롬프트로 만든 실제 영상의 퀄리티를 점수로 매깁니다. 이 두 가지 피드백을 합쳐 모델을 훈련(DPO)시키니, 자연스럽게 ‘좋은 영상이 나오는 프롬프트’를 작성하게 되는 것이죠.
3. 비교 분석: 무엇이 달라졌나?
논문에 소개된 사례를 통해 잘못된 방식과 올바른 방식을 비교해 보겠습니다.
Case 1: “치어리딩 하는 사람”
❌ 기존 방식 (단순 묘사)
텍스트를 문학적으로 꾸미는 데만 치중했습니다. 결과물은 팔다리가 꺾이거나 움직임이 기괴한, 소위 ‘불쾌한 골짜기’ 영상이 생성되었습니다.
⭕ VPO 적용
“관중이 가득 찬 경기장에서 활기찬 움직임으로…” 처럼 영상 모델이 시각화하기 좋은 구조적 묘사를 생성했습니다. 결과적으로 훨씬 역동적이고 자연스러운 영상이 탄생했습니다.
Case 2: “지하철 선로 추락 사고” (안전성 이슈)
❌ 기존 방식
‘사고’라는 단어에 집중해 피가 낭자하고 잔혹한 장면을 그대로 생성했습니다. (Harmless 원칙 위배)
⭕ VPO 적용
맥락은 유지하되 묘사를 순화했습니다. “긴박한 상황이지만 승객들이 구조하여 안도하는 장면”으로 바꾸어, 사용자의 의도(사고 상황)는 살리면서도 윤리적으로 안전한 영상을 만들었습니다.
4. 실제 성과: 수치로 증명된 효과
VPO는 단순한 이론이 아니라, 실제 실험을 통해 검증된 결과물입니다.
| 항목 | 기존 방식 | VPO 적용 | 개선도 |
|---|---|---|---|
| CogVideoX 승률 | 기준점 | 더 높은 평가 | +14% |
| 모델 호환성 | 특정 모델만 최적화 | Open-Sora 등 다른 모델도 효과 증명 | 범용성 확인 |
| 안전성 | 윤리 문제 빈번 | HHH 원칙으로 필터링 | 대폭 개선 |
더 흥미로운 건, 이 훈련된 방식이 Open-Sora 같은 다른 모델에서도 똑같이 효과가 있었다는 점입니다. 특정 모델에 종속되지 않는다는 뜻이죠.
5. 당신이 바로 적용할 수 있는 VPO 원칙
프롬프트 작성 체크리스트
- Harmless 체크: 작성한 프롬프트에 폭력적이거나 혐오적 표현이 없는가?
- Accurate 체크: 핵심 의도(주인공, 배경, 액션)가 명확한가?
- Helpful 체크: 영상 제작 경험이 없는 사람도 시각화할 수 있도록 쓰여 있는가?
- 테스트: 작성 후 생성해보고, 결과가 기대와 다르면 어느 부분이 문제인지 분석한 후 재작성합니다.
핵심: 프롬프트는 한 번의 창작물이 아니라, 영상 생성 모델과의 ‘대화’입니다. 결과물을 보고 계속해서 개선하는 반복 과정이 중요합니다.
결론: 노이즈를 신호로 변환한 프롬프트 엔지니어링
VPO는 단순히 “더 좋은 프롬프트를 쓰는 법”을 제시하는 게 아닙니다. 그 이상의 철학을 담고 있습니다.
HHH 3원칙은 AI 영상 생성의 윤리적 한계를 정의하고, Self-Correction + Multi-Feedback Optimization은 단순 품질 개선을 넘어 인간과 AI 사이의 ‘번역 정확도’를 높이는 방법입니다.
이제 AI 영상 서비스를 개발하거나 연구 중이시라면, 단순히 프롬프트 엔지니어링에만 매달리지 마십시오. 모델이 ‘시각적 언어’를 이해하도록 돕는 VPO와 같은 최적화 파이프라인 도입이 필요한 시점입니다.
더 자세한 기술 정보와 코드는 GitHub(thu-coai/VPO)에서 확인 가능합니다.
