같은 요구사항을 문장형, 체크리스트형, 단계형 프롬프트로 바꿔 비교했습니다.
핵심 요약
- 형식 요구는 별도 목록으로 분리할 때 더 잘 지켜졌습니다.
- 단계가 많아질수록 우선순위를 명시하는 것이 중요했습니다.
- 소수 예시만으로 결론을 일반화하면 안 됩니다.
실험 질문과 조건
내용은 같지만 구조가 다른 세 가지 프롬프트를 만들었습니다. 자유로운 문장형, 요구사항을 분리한 체크리스트형, 작업 순서를 지정한 단계형입니다.
각 변형에 같은 입력 열 개를 넣고 필수 항목 누락, 출력 형식 준수, 불필요한 내용 추가를 간단한 루브릭으로 평가했습니다.
관찰한 차이
체크리스트형은 필수 항목 누락이 가장 적었습니다. 단계형은 복잡한 입력에서 안정적이었지만 단순한 입력에도 장황한 과정을 출력하는 경향이 있었습니다.
문장형은 자연스러운 답변을 만들었지만 형식 제약을 놓치는 경우가 상대적으로 많았습니다.
다음 실험
입력 난이도를 더 세분화하고 모델을 바꿔 같은 경향이 유지되는지 확인할 계획입니다. 자동 채점과 사람 평가가 얼마나 일치하는지도 함께 측정해야 합니다.