같은 요청을 세 모델에 실행하면 무엇이 달라지는가

요청은 간단했습니다.

이 강연 내용을 압축하지 말고, 일목요연하게 정리해줘.

압축하지 말고는 정보 범위를 보존하라는 뜻이고, 일목요연하게는 더 강한 구조화를 요구합니다. 그러나 무엇을 줄여도 되는지는 명시하지 않아 모델마다 정리를 다르게 실행하기 쉬운 요청이었습니다.

이번 사용자는 원문을 대체할 상세 노트를 원했습니다. 이 조건에서는 GPT-5.5가 가장 잘 맞았지만, 빠른 개요나 낮은 비용이 우선이라면 선택은 달라집니다.

1. 흐름 보존: 강연의 처음부터 끝까지 진행 순서를 유지한다.
2. 세부 보존: 핵심 주장뿐 아니라 이유·예시·부연도 남긴다.
3. 선택적 정돈: 말버릇과 반복만 줄이고 정보 범위는 임의로 줄이지 않는다.
4. 읽기 쉬운 구조: 제목과 소제목으로 내용을 찾기 쉽게 만든다.
5. 원문 근거: 강연에 없는 설명과 결론을 추가하지 않는다.

이 기준은 결과를 본 뒤 만든 채점표가 아니라 평가 session에 저장된 사용자 확인 기준입니다.

원문은 평가기가 5점 만점에 3점을 줬을 때 숫자보다 설명을 읽어야 무엇을 고칠지 알 수 있다고 설명합니다.

또 다른 구간은 5~10개 입력이 유닛 테스트의 시작일 뿐이며, 프로덕션에는 더 크고 다양한 평가 데이터가 필요하다고 설명합니다. GPT는 규모가 달라져야 하는 이유까지 남겼고, Gemini는 사용자 시뮬레이터라는 결론은 남겼지만 5~10개라는 구체 맥락을 생략했습니다.

세 결과 모두 틀린 요약은 아니었습니다. 차이는 이번 사용자가 요구한 상세 노트에 필요한 이유와 예시를 어디까지 남겼는가에 있었습니다.

GPT는 세부를 가장 폭넓게 보존했지만 일부 설명을 원문보다 확장해 원문 근거 점수가 낮아졌고, 가장 느리고 비쌌습니다. Getsit의 추천은 가장 좋은 모델이 아니라 이 입력·의도·운영 조건에 맞는 모델입니다.

1. 결과를 보기 전에 반드시 남길 정보, 줄여도 되는 정보, 금지 행동과 출력 형식을 확인합니다.
2. 같은 입력과 요청을 비교할 provider에 전달합니다.
3. 총점보다 먼저 보존·압축·추가 행동을 원문 구간과 대조합니다.
4. 지연시간, 예상 비용과 실패 상태를 품질 판단 옆에 둡니다.
5. 결론을 이 입력·의도·운영 조건에 대한 적합성으로 제한합니다.

• 한 번의 실행이며 반복 안정성 연구가 아닙니다.
• 점수는 LLM 평가기의 판단이며 객관적 정답이 아닙니다.
• 저장된 제품 실행은 블라인드 테스트가 아니었습니다.
• 최초 발견 대화는 보관되지 않았고 이 실행과 다른 사례입니다.
• 모델별 프롬프트 조정 후 재실행의 개선 효과는 여기에서 검증하지 않았습니다.

Getsit AI 사례로 돌아가기