“뼈대부터 세워라” AI 글쓰기 구조와 속도를 동시에 잡는 프롬프트 엔지니어링
지난 1, 2탄을 통해 우리는 AI를 ‘논리적인 사상가’로, ‘신중한 검토자’로 만드는 법을 배웠습니다. 이제 여러분의 AI는 충분히 똑똑하고 신중해졌을 겁니다. 하지만 현업의 현실적 장벽이 남아있습니다. 바로 ‘속도’와 ‘장황함’입니다.
복잡한 질문을 던지면 커서만 깜빡이며 한참을 뜸 들이거나, 정작 알맹이는 뒷전이고 서론만 길게 늘어놓는 AI 때문에 답답했던 적 없으신가요? 오늘은 AI의 생각하는 순서를 바꿔, 답변 속도는 최대 2.39배 높이고 글의 구조적 완성도까지 챙기는 ‘생각의 골격(Skeleton-of-Thought, SoT)’ 기법을 소개합니다.
1. AI는 왜 느리고 장황할까?: 순차적 디코딩의 함정
먼저 LLM(거대언어모델)이 글을 쓰는 방식을 이해할 필요가 있습니다. AI는 기본적으로 ‘순차적 디코딩(Sequential Decoding)’ 방식을 따릅니다. 쉽게 말해, 첫 단어부터 마지막 단어까지 순서대로 하나씩 뱉어낸다는 뜻이죠.
이것은 마치 아무런 계획 없이 “일단 입부터 열고 보는” 사람과 같습니다.
[기존 방식] “음… 서론은 이렇게 시작하고… (생각 중)… 아, 본론 1은… (또 생각 중)… 그리고 결론은…”
앞의 내용이 나와야 뒤의 내용을 결정할 수 있다 보니, 답변이 길어질수록 속도는 느려지고 논리가 꼬이거나 횡설수설할 확률이 높아집니다. 칭화대와 마이크로소프트 연구진은 이 비효율을 해결하기 위해 인간의 ‘보고서 작성법’을 AI에 이식했습니다.
2. SoT(생각의 골격)의 핵심: “뼈대부터 세우고 살을 붙여라”
일 잘하는 사람은 보고서를 쓸 때 첫 문장부터 무작정 쓰지 않습니다. 목차(뼈대)를 먼저 잡고, 각 항목에 들어갈 내용을 채워 넣죠. 프롬프트 엔지니어링의 고급 기법인 ‘생각의 골격(SoT)’은 이 과정을 프롬프트로 구현한 것입니다.
과정은 딱 두 단계로 나뉩니다.
- 골격 단계 (Skeleton Stage): 상세 내용을 쓰지 말고, 핵심 포인트만 담은 ‘골격(Outline)’만 먼저 작성하게 합니다.
- 확장 단계 (Point-Expansion Stage): 작성된 골격의 각 포인트를 구체적으로 확장하여 살을 붙입니다.
연구진이 LLaMA, GPT-4 등 12개 모델에서 테스트한 결과, 이 단순한 변화만으로 최대 2.39배의 속도 향상을 기록했습니다. 더 흥미로운 건 속도만 빨라진 게 아니라, 답변의 다양성과 논리적 완결성 또한 유지되거나 오히려 좋아졌다는 점입니다.
3. 실무 적용 가이드: 챗봇 사용자 vs 개발자
SoT는 사용하는 환경에 따라 그 효용과 적용 방식이 조금 다릅니다.
A. 일반 사용자 (ChatGPT / Claude 웹 채팅창)
웹 인터페이스에서는 시스템적으로 ‘동시 생성(병렬 처리)’이 불가능하므로 물리적인 속도 향상은 어렵습니다. 하지만 ‘구조적 사고’의 이점을 확실히 누릴 수 있습니다. AI가 횡설수설하는 것을 막고 싶다면 이렇게 지시하세요.
[SoT 프롬프트 예시]
“이 주제에 대해 답변해줘.
단, 바로 줄글로 쓰지 말고
1) 핵심 내용을 요약한 골격(Outline)을 먼저 작성하고,
2) 그 다음 각 항목을 구체적으로 확장해서 설명해줘.”
이렇게 하면 AI는 내부적으로 논리 구조를 먼저 확립하기 때문에, 훨씬 더 짜임새 있고 명확한 글을 써줍니다.
B. API 개발자 / 서비스 기획자
여러분이 AI 서비스를 개발 중이라면, SoT는 비용과 시간을 줄여주는 혁신이 됩니다.
- Prompt 1: “질문에 대한 답변의 뼈대(Skeleton)를 짧게 3~4개 포인트로 잡아줘.”
- Parallel Call: 1번에서 나온 뼈대(Point 1, 2, 3)를 각각 별도의 API 호출로 동시에 던집니다. (Point 1, 2, 3 확장을 동시에 요청)
- Merge: 돌아온 답변들을 합쳐서 사용자에게 보여줍니다.
기존에는 100초가 걸리던 긴 답변을, 이 방식을 통해 40~50초 수준으로 단축할 수 있습니다. 사용자 경험(UX) 측면에서 엄청난 이득이죠.
4. 총정리: 프롬프트 엔지니어링 3대 기법 비교
지금까지 3편에 걸쳐 소개한 핵심 기법을 한 눈에 볼 수 있도록 정리했습니다. 상황에 맞춰 적절한 도구를 꺼내 쓰세요.
| 구분 | 1. Zero-shot CoT | 2. Contrastive CoT | 3. SoT (Skeleton) |
|---|---|---|---|
| 핵심 별칭 | 논리적 사상가 | 꼼꼼한 검토자 | 빠른 전략가 |
| 해결 문제 | “AI가 산수나 논리를 자꾸 틀려요” | “AI가 미묘한 차이를 모르고 환각을 보여요” | “AI가 너무 느리고 말이 횡설수설 길어요” |
| 작동 원리 | System 2 사고 유도 (단계별 추론) | 오답 노트 학습 (정답 vs 오답 비교) | 구조적 사고 (목차 후 확장) |
| 마법의 한 문장 | “단계별로 생각해보자.” (Let’s think step by step) | “잘못된 예시를 먼저 들고, 정답과 비교해줘.” | “답변의 뼈대(골격)부터 먼저 잡고 설명해줘.” |
| 추천 상황 | 수학, 코딩, 추리, 인과관계 설명 | 뉘앙스 구분, 팩트 체크, 교정 작업 | 긴 보고서, 블로그 초안, API 속도 최적화 |
5. Insight: 프롬프트 엔지니어링의 완성은 ‘구조화’
1탄의 ‘논리력’, 2탄의 ‘분별력’, 그리고 오늘 3탄의 ‘효율성’까지. 결국 프롬프트 엔지니어링이란, 방대한 지식을 가진 AI에게 “우리 인간이 일 잘하는 방식(논리-점검-구조화)”을 하나씩 이식하는 과정입니다.
지금 바로 여러분의 프롬프트에 한 문장을 더해보세요.
“뼈대부터 먼저 잡아줄래?”
이 한 마디가 AI의 일머리를 바꿔놓을 것입니다.
