새 소식
goshot - 코드 스크린샷 생성기
주문 메시지를 읽는 LLM 파이프라인을 검증하려고 테스트 29개를 만들었는데, 그 중 정상 케이스는 4개뿐입니다. 나머지는 전부 함정입니다.
제일 많은 그룹은 "주문이 아닌 것" 6개. 상품명과 숫자가 다 있는 단순 문의를 주문으로 잡으면 안 시킨 물건이 출고됩니다
문제만 어렵게 내지 않고 대조할 상품 데이터에도 함정을 심었습니다. 폭만 다른 투명테이프 2종, 같은 숫자로 시작하는 상품 5종, 제각각인 박스 입수. 깨끗한 데이터로 시험보면 전부 통과하고 실전에서 무너집니다
가장 놓치기 쉬운 건 "학습이 쌓인 뒤"의 동작입니다. 테이프=48mm로 학습된 상태에서 "테이프 60 2박스"가 오면 명시 규격이 학습을 이겨야 합니다. 카탈로그 기능이 사고 기능이 되는 지점입니다
테스트 케이스 29개와 함정 심은 상품 목록은 전부 공개해 두었습니다.
https://github.com/ramses203/llm-test-harness
ESSLLM사고ITGo