Getsit AI

Intent Rubric: 점수보다 먼저 사용자의 의도를 고정했습니다

• 문제: 잘 정리해줘가 무엇을 뜻하는지 정하지 않은 채 결과를 평가하면 정교한 점수도 엉뚱한 목표를 측정합니다.
• 판단: 평가 전에 사용자가 원하는 결과를 필수 조건, 성공 기준, 금지 행동과 형식으로 확인해야 했습니다.
• 구현: 질문을 통해 흐름 보존, 세부 보존, 선택적 정돈, 읽기 쉬운 구조와 원문 근거를 비교 기준으로 만들었습니다.
• 달라진 점: 모델 취향이 아니라 사용자가 원한 작업을 기준으로 결과를 논의할 수 있게 됐습니다.

Behavior over Self-description: 모델의 설명과 실제 행동을 분리했습니다

• 문제: 모델은 예시를 보존한다고 설명해도 실제 출력에서는 예시를 줄일 수 있습니다.
• 판단: 용어에 대한 자기 설명보다 같은 입력에서 실제로 무엇을 생략·확장했는지 봐야 합니다.
• 구현: 핵심 표현에 대한 모델 설명과 실제 출력 구간을 함께 기록하고 차이를 행동 단위로 진단했습니다.
• 달라진 점: 결과가 다르다에서 멈추지 않고 어떤 표현이 어떤 출력 행동으로 이어졌는지 설명할 수 있게 됐습니다.

Evaluator Humility: 평가기를 정답으로 만들지 않았습니다

• 문제: LLM 평가 점수도 평가 모델의 기준과 편향을 가집니다.
• 판단: 하나의 점수로 순위를 확정하지 않고 근거, 확신도, 실제 출력과 trade-off를 함께 보여줘야 했습니다.
• 구현: 기준별 점수와 발췌 근거, 최종 추천, 확신도와 한계를 한 리포트에 남겼습니다.
• 달라진 점: 사용자는 더 높은 점수뿐 아니라 느린 시간과 높은 비용까지 보고 이번 작업의 선택을 할 수 있습니다.