한 문장 요약 최신 LLM은 한 번에 완전한 요구사항을 받으면 높은 성능을 내지만, 요구사항이 여러 대화 턴에 걸쳐 조금씩 공개되면 능력 자체보다 응답의 일관성과 복구 능력이 크게 무너진다. https://arxiv.org/pdf/2505.06120 핵심 수치 논문 결과 쉽게 해석하면 평균 성능 단일 턴 약 90 → 멀티턴 약 65 25점 하락, 상대 기준 평균 39% 감소 적성 평균 16% 감소 잘 풀 수 있는 잠재 능력은 상당 부분 남아 있음 불신뢰성 평균 112% 증가 같은 문제라도 대화 경로에 따라 결과가 크게 출렁임 실험 규모 15개 모델, 600개 지시문, 20만 건 이상 대화 특정 모델 한두 개의 우연한 현상이 아님 발생 시점 조건이 2개 턴 이상으로 나뉘는 순간부터 관찰 아주 긴 대화가 아니어도 문제가 시작될 수 있음 이 논문의 가장 중요한 결론은 “대화가 길어지면 모델이 모든 것을 잊는다”는 단순한 기억 용량의 문제가 아니다. 모델은 최선의 경우 여전히 좋은 답을 만들 수 있지만, 초...