- 에이전트 기억 벤치마크(LoCoMo, LongMemEval 등)의 점수를 그대로 믿기 어려운 이유를 정리한 글
- 같은 제품의 LoCoMo 점수가 누가 쟀느냐에 따라 58.44~94.7로 변동이 큼
- LoCoMo 정답지 1,540개를 대화 원문과 대조하니 약 7%가 틀렸거나 모호
- 같은 답이라도 채점 프롬프트만 바꾸면 26점이 변동됨(95% 신뢰 구간은 ±3.1점)
- 벤치 점수 비교보다 누가 어떤 채점 방식과 어떤 정답으로 평가했는지 먼저 보라는 결론
← 목록으로
새 소식
메모리 벤치마크 점수 믿어도 되나
요약
- 에이전트 기억 벤치마크인 LoCoMo 등의 점수가 평가 방식이나 정답지에 따라 큰 편차를 보여 신뢰하기 어렵다는 분석이 나왔습니다.
- 단순 점수 비교보다는 평가 주체와 채점 방식, 정답의 정확성을 먼저 확인하는 것이 중요합니다.
키워드
에이전트 기억 벤치마크LoCoMo벤치마크 신뢰성