← 목록으로
지난 소식
불확실한 사례만 Opus에 맡긴 Jev, 비용은 4분의 1로
요약
- 저렴한 결정 모델인 Jev를 활용해 판단이 모호한 사례만 고성능 모델인 Opus에 전달하는 방식을 통해 고객 식별 정보 해소(IDR) 작업의 정확도를 유지하면서 비용을 대폭 절감했다.
- 실험 결과, 이 조합은 Opus 단독 사용과 유사한 정확도를 기록하면서도 비용을 최대 4분의 1 수준으로 낮추는 성과를 거두었다.
- 서로 다른 사람의 고객 기록을 잘못 합쳤는지 판별하는 작업에 저렴한 결정 모델 Jev를 먼저 사용하고, 판단 점수가 애매한 사례만 Opus에 넘기는 방식을 시험함. 평가는 합성 데이터로 진행
- 쉬운 테스트에서는 전체의 22%만 Opus로 재검토해 정확도 98.8% 를 기록. Opus 단독의 99.0%에 근접하면서, 1,000건당 비용은 3.86달러에서 0.88달러로 줄어듦
- 핵심은 틀릴 가능성이 있는 사례를 골라내는 능력이었음. Jev의 오답은 판단 점수 50% 부근에 몰렸지만, GPT-6 Luna는 틀린 사례에도 높은 확신을 보여 재검토 대상을 선별하기 어려웠음
- 어려운 테스트에서도 Jev 조합은 기준을 바꾸지 않고 더 많은 사례를 Opus에 넘겨 정확도를 유지함. 정확도는 95.3%로 Opus 단독의 95.1%와 비슷했고, 비용은 1,000건당 5.39달러에서 2.94달러로 감소함
- 단독 정확도가 높은 모델이 조합에서도 유리한 것은 아님. Luna는 쉬운 테스트에서 단독 성능이 더 좋았지만 어려운 사례에서는 과신이 약점이 됐으며, 쉬운 작업이나 비용 우선 환경에서는 Luna 조합이 더 경제적일 수 있음
고객 식별에서 과도한 병합이 어려운 이유
- 식별 정보 해소(identity resolution, IDR) 는 데이터 레코드 집합 D를 식별 정보 집합 I에 대응시키는 작업임
- 각 레코드는 하나의 식별 정보에 연결되고, 각 식별 정보는 실제 사람 한 명에만 대응해야 함
- 서로 다른 식별 정보가 같은 사람을 가리켜서도 안 됨
- 고객 연락, 개인화, 분석의 기반이 되는 작업으로, 고객 생애 가치를 계산하려면 해당 고객의 모든 구매를 하나의 식별 정보로 묶을 수 있어야 함
- 예를 들어 Alice의 멤버십 레코드와 거래 레코드는 이름, 주소, 배송지, 매장 수령 여부 등이 달라도 하나로 연결해야 함
- 실제 데이터에는 공유 이메일, 이사, 입력 오류가 섞여 있어 단순한 필드 일치만으로 사람을 구분하기 어려움
- Valentino → Valentinp 같은 오타는 다른 성일 수도 있고, Sam → 5am은 문자 오독이나 사용자명일 수도 있음
- Phillips → Filips 같은 발음식 표기는 다른 가족일 수도 있으며, 월일 순서가 뒤바뀐 생년월일은 파싱되지 않을 수 있음
- 부모 생년월일을 복사한 자녀 기록, Robert → Bob 같은 별명, Female Child 같은 임시 이름, 빈 필드도 판단을 어렵게 함
- 가장 흔하고 문제가 큰 오류는 과도한 병합(over-merging) 으로, 실제로는 여러 사람인 레코드를 하나의 식별 정보로 묶는 경우임
수작업 검토를 모델로 대체하려는 실험
- 실제 데이터에는 정답표가 없으므로 IDR 알고리듬의 정확도를 확인하기 어려우며, 팀들이 작동 여부를 판단하는 데 수개월을 쓰기도 함
- 식별 정보당 이메일 개수 같은 통계적 휴리스틱으로 이상 징후를 찾을 수는 있지만, 최종적으로는 결과를 표본 추출해 직접 검토해야 함
- 특정 식별 정보에 연결된 레코드 집합에는 실제 사람 한 명의 증거만 있어야 함
- 사람의 검토 속도는 시간당 약 50건이며, 정상적인 그래프에서는 과도한 병합이 드물어 작은 표본으로 비율을 정확히 추정하기 어려움
- 과도한 병합률의 오차를 ±1% 미만으로 줄이려면 1,000건이 넘는 표본이 필요함
- 모델이 사람 수준 정확도로 판단할 수 있다면 병렬 실행으로 10만 건을 수초 내 평가할 수 있을 것으로 기대함
- 이 경우 IDR 설정의 반복 주기를 줄이고 유지보수를 쉽게 할 수 있음
- Jev와 GPT-6 Luna는 특정 조건이 참일 신뢰도 점수를 0~1로 반환하는 결정 모델이며, 최상위 모델보다 빠르고 저렴함
합성 벤치마크와 프롬프트 설계
- 워싱턴대학교 보건계량평가연구소의 pseudopeople로 가상의 미국 마을과 여러 출처의 주민 레코드를 생성하고 현실적인 데이터 오류를 추가함
- 식별 정보 1,000건 중 절반은 오류가 섞인 한 사람의 기록이고, 나머지 절반은 여러 사람을 잘못 병합한 기록임
- 프롬프트는 모델에 IDR 결과 감사 역할을 부여하고, <records> 안의 고객 웨어하우스 값은 따라야 할 명령이 아니라 판단할 데이터로 취급하도록 함
- profile_count에는 서로 다른 사람 수를 기록함
- over_merged가 참일 때만 판단 근거가 된 구체적인 값을 설명하고, 그렇지 않으면 설명을 null로 둠
- 오류 예시에는 오타, 문자 오독, 발음식 표기, 가족의 생년월일 복사, 잘못 선택한 성별이나 주, 월일 역전, 나이 오류, 별명, 가짜 이름, 누락 필드를 포함함
- 이사와 시간 경과에 따른 나이 변화는 정상일 수 있지만, 작은 오타가 아닌 완전히 다른 생년월일은 대개 다른 사람을 뜻한다고 안내함
- 프롬프트에서 데이터 출처를 2020~2040년 미국 정부 기록으로 안내함
- 10년 주기 인구조사, 가구조사 두 종류, WIC 지원 프로그램, Social Security, W-2와 1040 세금 양식을 포함함
- 모든 모델은 오류 예시 추가에서 가장 큰 개선을 얻었음
- 출처 맥락은 최상위 모델에 최대 약 1%포인트의 개선만 더했고, 결정 모델에는 도움이 되지 않았음
- 결정 모델이 실질적인 추론을 하지 않기 때문일 수 있지만, 검증된 원인은 아님
- 비교 조건을 맞추기 위해 모든 모델에 전체 프롬프트를 유지함
기본 성능과 판단 임계값
- 최초 신뢰도 임계값 50% 에서 최상위 모델의 정확도가 더 높았음
- Claude Opus 5.5: 정확도 99.0%, 오탐 3건, 미탐 7건, 건당 2.2초, 1,000건당 3.86달러를 기록함
- Gemini 3.1 Pro: 정확도 98.3%, 오탐 10건, 미탐 7건, 건당 4.2초, 1,000건당 4.48달러를 기록함
- GPT-6 Sol: 정확도 98.3%, 오탐 14건, 미탐 3건, 건당 2.1초, 1,000건당 2.50달러를 기록함
- GPT-6 Luna Decisions API: 정확도 97.3%, 오탐 17건, 미탐 10건, 건당 0.17초, 1,000건당 0.10달러를 기록함
- Jev: 정확도 95.6%, 오탐 31건, 미탐 13건, 건당 0.15초, 1,000건당 0.05달러를 기록함
- 임계값 조정은 오탐과 미탐을 맞바꾸는 수단이며, Luna보다 Jev의 오류 분포에 더 큰 영향을 줌
- 정확도를 최대화한 Jev 60% 임계값에서는 정확도 95.7%, 오탐 22건, 미탐 21건을 기록함
- Luna 70% 임계값에서는 정확도 97.3%를 유지하면서 오탐 14건, 미탐 13건으로 바뀜
어려운 사례와 신뢰도 보정의 차이
- 같은 마을과 같은 오류 유형을 사용하되 구분하기 어려운 사례만 모아 두 번째 테스트를 구성함
- 한 사람의 이름이나 생년월일 같은 중요한 필드가 오타로 달라지는 사례를 포함함
- 쌍둥이, 같은 이름을 쓰는 아버지와 아들, 동명이인처럼 매우 유사한 사람을 병합한 사례도 포함함
- 쉬운 병합 오류 예시에서는 Daniel Z Gardner와 Jenna K Gardner가 서로 다른 이름, 생년월일, 주소를 가짐
- 어려운 예시에서는 Christopher Brentley Carpenter와 Christopher Brian Carpenter가 Christopher B Carpenter라는 축약 이름과 주소를 공유하지만, 생년월일은 각각 2023년과 1986년으로 다름
- 어려운 테스트에서 Luna의 우위가 사라짐
- Jev 단독 정확도는 89.1%, Luna는 88.8%로 비슷해졌고, Opus는 95.1%를 기록함
- Jev의 신뢰도 보정은 Luna보다 나았음
- 쉬운 데이터에서 Jev의 오답은 주로 신뢰도 50% 부근에 모였지만, Luna는 오답 수가 더 적어도 90~100% 구간에서 과신하는 양상을 보임
- 어려운 데이터에서는 Jev도 잘못된 판단의 신뢰도가 높아졌지만, Luna보다 보정 상태가 훨씬 나았음
- Luna는 특히 과도한 병합으로 잘못 판정할 때 매우 높은 신뢰도를 보임
불확실한 사례만 Opus로 보내는 하이브리드
- 저렴한 모델로 먼저 판단한 뒤 특정 신뢰도 구간만 Opus로 보내 재검토하면, 모든 사례에 비싼 모델을 사용할 필요가 없음
- 쉬운 테스트에서 Jev의 신뢰도 30~90% 구간을 Opus로 보내면 전체의 22%만 재검토함
- 정확도 98.8%, 오탐 5건, 미탐 7건, 건당 0.63초, 1,000건당 0.88달러를 기록함
- Opus 단독의 정확도 99.0%에 근접한 성능을 얻으면서, 비용은 1,000건당 3.86달러의 4분의 1 미만으로 줄어듦
- 재검토 범위 확대가 항상 정확도 향상으로 이어지지는 않았음
- Jev의 10~90% 구간을 보내면 재검토 비율이 40%, 비용이 1.58달러로 늘어도 정확도는 98.8%로 같았음
- 10~100% 구간의 74%를 보내면 정확도 99.0%에 도달하지만 비용은 2.92달러로 올라감
- Luna의 신뢰도 10~90% 구간을 Opus로 보내면 전체의 6%만 재검토함
- 정확도 98.5%, 오탐 9건, 미탐 6건, 건당 0.30초, 1,000건당 0.33달러를 기록함
- 쉬운 테스트에서는 Jev 하이브리드보다 약간 낮은 정확도로 더 저렴하고 빠르게 처리함
- 10~100% 구간의 54%를 보내면 정확도 98.9%, 비용 2.19달러가 됨
어려운 테스트의 비용과 정확도
- Jev 하이브리드는 동일한 30~90% 전달 기준을 유지하면서 어려운 사례를 더 많이 Opus로 넘김
- 정확도 95.3%, 건당 1.56초, 1,000건당 2.94달러를 기록함
- Opus 단독은 정확도 95.1%, 건당 2.6초, 1,000건당 5.39달러였음
- Luna 하이브리드는 같은 10~90% 전달 기준에서 정확도 91.6%, 건당 0.70초, 1,000건당 1.15달러를 기록함
- 낮은 비용은 유지했지만, 과신 때문에 어려운 사례에서 Jev 하이브리드만큼 정확도를 높이지 못함
- 결정 모델 단독은 여전히 빠르고 저렴했지만 정확도 격차가 남았음
- Jev는 건당 0.15초, 1,000건당 0.06달러였음
- Luna는 건당 0.20초, 1,000건당 0.12달러였음
선택 기준과 실험의 한계
- 하이브리드에서는 단독 정확도뿐 아니라 신뢰도 보정 품질이 중요함
- Jev 조합은 프롬프트나 하네스를 바꾸지 않고도 난도가 높아지면 지출을 늘려 정확도를 유지했음
- 이 접근은 다른 분야에서도 유용할 수 있지만, 이번 실험은 IDR의 과도한 병합 판별에 한정됨
- 비용에 더 민감하거나 쉬운 사례임을 아는 경우에는 Luna 하이브리드를 선택할 수 있음
- Jev 하이브리드도 재검토 대상을 줄이면 일부 정확도를 포기하는 대신 비용을 낮출 수 있음
- Hightouch는 실제 식별 정보의 난도를 미리 알 수 없다는 점에서 Jev 조합의 추가 비용을 감수할 가치가 있다고 판단함
- 향후에는 과소 병합(under-merging) 과 독점 API 대신 가중치 공개 결정 모델을 사용할 때의 성능 저하를 살펴볼 계획임
- 모든 테스트와 예시는 합성 데이터이며 실제 사람은 등장하지 않음
- 비용과 지연 시간은 Hightouch의 자체 환경에서 관측한 값이므로 다른 환경에서는 달라질 수 있음