[에이전트 제작기 #3] 프롬프트 실험실 — 요약 프롬프트를 직접 튜닝하다

#2 설계도에서 정한 MVP v0.1 = “지표를 넣으면 3줄 요약 초안을 만든다”. 이번엔 그 심장인 요약 프롬프트를 실제로 v1 → v3까지 고쳐봤습니다. 프롬프트 기법을 실전에 적용한 로그예요.

🧪 실험 방법

같은 입력 데이터를 고정해두고, 프롬프트만 바꿔가며 결과를 비교했습니다.

[고정 입력]
가입 1,200(전주 1,000) / 이탈 300(전주 280) / 전환율 4.1%(전주 4.5%)

---

v1 — “그냥 시켜본다” ❌

이번 주 지표 요약해줘: 가입 1200, 이탈 300, 전환율 4.1%

결과: “가입 1,200명, 이탈 300명, 전환율 4.1%입니다.” → 그냥 숫자를 다시 읽어줌. 전주 대비도, 인사이트도 없음.

문제: 역할·규칙·형식이 없으니 AI가 뭘 해야 할지 모른다.

v2 — “역할 + 규칙 + 형식” 부여 🟡

너는 서비스 운영 분석가야. 아래 지표를 경영진용 3줄 요약으로.
- 규칙: 전주 대비 증감률 포함, 주목할 이슈 1개 강조
- 형식: 불릿 3개, 앞에 📈/📉/⚠️
[데이터] 가입 1200(전주 1000) / 이탈 300(전주 280) / 전환율 4.1%(전주 4.5%)

결과:

• 📈 가입 1,200명(+20%) — 신규 유입 호조
• 📉 전환율 4.1%(-0.4%p) — 하락 전환, 주목 필요
• ⚠️ 이탈 300명(+7%) — 소폭 증가

훨씬 낫다! 하지만 “왜 전환율이 떨어졌는지” 원인 해석이 없고, 가끔 증감률을 틀리게 계산함.

v3 — “생각 단계 + 환각 방지” 추가 ✅

너는 서비스 운영 분석가야. 아래 지표를 경영진용 3줄 요약으로.
1) 먼저 각 지표의 증감률을 계산해서 표로 정리해.   ← 생각 단계
2) 그 다음 가장 중요한 1개를 골라 3줄 요약을 써.
- 규칙: 데이터에 없는 원인은 '추정'이라고 표시(지어내지 말 것)
- 형식: 불릿 3개, 앞에 📈/📉/⚠️
[데이터] ...

결과: 증감률을 먼저 표로 계산하니 숫자 오류가 사라지고, 원인은 “추정” 표시를 달아 환각이 줄었다.

---

📊 세 버전 비교

버전	핵심 변화	품질	남은 문제
v1	지시만	⭐	숫자 복창
v2	역할·규칙·형식	⭐⭐⭐	계산 오류·원인 없음
v3	생각 단계·환각 방지	⭐⭐⭐⭐	톤 미세조정

💡 배운 것

• “먼저 계산하고, 그다음 요약해” 처럼 단계를 나누면 실수가 줄어든다. (Chain-of-Thought)
• “지어내지 말고 추정이라고 써” 한 줄이 신뢰도를 크게 올린다.
• 프롬프트는 한 번에 완성되지 않는다. 고정 입력으로 A/B 하며 조여가는 게 정석.

v3 프롬프트는 자료실에도 정리해 뒀습니다. 다음 #4에서는 이 프롬프트에 실제 지표 데이터를 자동으로 연결하는 도구를 붙여봅니다.