← 목록으로
새 소식
Jev를 검색 리랭커로 활용하기: 확률 기반 점수화와 평가 기준 설계
요약
- TypeSafe는 확률 기반 점수화와 자연어 평가 기준을 활용해 검색 결과를 재정렬하는 Jev 모델의 구현 방식을 소개했습니다.
- FiQA 실험 결과, Jev는 벡터 검색 대비 nDCG@10 지표를 14.7% 개선했으며, 적응형 배칭을 통해 검색 품질과 효율성을 동시에 확보했습니다.
- TypeSafe의 판단 모델 Jev를 활용해 검색 결과를 재정렬하는 구현 방식과 평가 결과를 소개
- 주제가 비슷한 문서 중에서 실제로 질문에 답하고 요구 조건을 충족하는 문서를 상위로 배치하는 것이 목적
- 검색으로 확보한 후보를 평가하는 단계로, 키워드 검색과 벡터 검색, 하이브리드 검색에 적용하는 사례를 설명
- 관련성 단계별 확률을 가중 평균해 정렬 점수로 변환
- 기본 평가 기준은 관련성을 10단계로 구분하며, Jev는 각 단계에 대한 확률 분포를 반환
- 가장 가능성이 높은 단계 하나를 선택하는 대신, 단계별 확률을 가중 평균해 중간 수준의 판단도 순위에 반영
- 이 값은 후보를 정렬하기 위한 점수이며, 문서가 관련 있을 확률로 보정된 값은 아님
- 자연어로 관련성 기준을 정의
- 문서가 질문의 주제뿐 아니라 필수 조건과 제외 조건까지 충족하는지 평가
- 관련성이 낮은 순서부터 높은 순서까지 2~10개의 기준을 지정할 수 있음
- FiQA 실험에서 벡터 검색 대비 nDCG@10이 상대적으로 14.7% 개선
- 공개 금융 질의 데이터셋 FiQA의 영어 질문 100개에서 후보 50개를 재정렬하고, 질문별로 두 번 실행
- text-embedding-3-small을 사용한 벡터 검색과 비교한 nDCG@10은 0.4555에서 0.5223으로 상승
- nDCG@10은 관련 문서가 상위 10개 결과에서 얼마나 좋은 순서로 배치되는지 평가하는 지표
- 글에서 보고한 문서 검색 품질 평가이며, RAG가 생성한 답변의 품질 개선을 직접 측정한 것은 아님
- 한 질문에서는 관련 문서가 두 번의 실행 모두 12위에서 1위로 상승
- 상위 10개 문서만 사용하는 애플리케이션에서도 해당 문서를 활용할 수 있게 된 사례
- 전체 실험에서는 개별 문서의 순위가 실행 간 달라질 수 있었음
- 품질 개선에 따른 추가 지연 시간도 공개
- AWS 서울 리전에서 후보 50개를 평가한 200개 요청의 리랭킹 단계 지연 시간은 p50 488ms, p95 673ms
- 검색과 클라이언트 네트워크 시간을 제외한 서버 내부 단계의 소요 시간
- 해당 200개 요청은 모두 폴백이나 재시도 없이 성공
- 평가 기준은 순위 품질과 토큰 사용량에 함께 영향
- 검색 지시 준수 여부를 평가하는 FollowIR의 40개 주제에서 기본 10단계와 커스텀 2단계, 3단계, 10단계 기준을 비교
- 커스텀 기준은 필수 조건과 제외 조건을 중심으로 구성
- 기본 10단계 대비 커스텀 3단계는 입력 토큰이 15.7% 적었고, 커스텀 10단계만 통계적으로 유의한 순위 품질 개선을 보임
- 유의한 개선은 기본 평가 기준 대비 결과이며, 기존 후보 순서 대비 개선은 입증되지 않음
- 배칭은 속도뿐 아니라 순위도 바꿀 수 있음
- 같은 문서 수라도 문서 길이에 따라 요청 크기가 달라지므로, 추정 입력 크기를 기준으로 배치를 구성
- 30개 질문의 비교 실험에서 적응형 배칭은 문서 8개씩 묶는 고정 배칭보다 호출 수와 관측 지연 시간이 적었으며, 질문별 nDCG@10 저하는 관측되지 않음
- 후보 확보와 최종 반환 개수를 분리
- 리랭킹은 검색 단계에서 확보한 문서만 재정렬할 수 있음
- 최종 결과 수를 늘리는 것만으로는 앞서 제외된 문서를 복구할 수 없으므로, 검색 단계에서 충분한 후보를 확보해야 함
- 문서 일관성과 실패 처리도 구현에 포함
- 해당 구현은 후보를 검색할 때와 Jev가 문서를 평가할 때 같은 읽기 스냅샷을 사용
- 모든 후보의 점수가 유효한지 확인한 뒤 새 순서를 적용
- 일부 배치가 실패하면 설정된 오류 또는 폴백 정책을 따르며, 부분적인 리랭킹 점수와 기존 검색 점수를 섞지 않음
- 모델 비교에서는 입력과 측정 범위를 고정
- 별도 API 실험에서 Jev, Clef, Clef-flash에 동일한 후보, 순서, 배치, 평가 기준을 적용
- 해당 조건에서 Jev가 세 모델 중 가장 높은 순위 품질과 가장 낮은 전체 작업 시간, 추정 추론 비용을 기록
- 호스팅 API와 해당 실험 조건에서의 결과이며, 비용은 2026년 10월 5일 공개 요율 기준
- 전체 리랭킹 작업 시간, 서버 내부 단계 시간, 개별 API 요청 시간은 구분해 측정
- 호출 리전도 지연 시간에 영향
- 동일한 후보 21개를 보내는 별도 실험에서 Jev 요청 시간 중앙값은 서울 391ms, 오리건 138ms
- 개별 API 요청의 소요 시간으로, 전체 검색이나 리랭킹 작업의 지연 시간과는 측정 범위가 다름