← 목록으로
지난 소식
Pinterest, 사용자 활동에서 장기 목표를 추론하는 LLM 구축
요약
- Pinterest는 사용자의 검색 및 저장 기록을 분석해 장기적인 목표를 추론하는 LLM 기반 시스템을 구축했습니다.
- 기존의 다단계 처리 방식을 단일 모델로 통합해 비용을 절감했으며, 이를 통해 추천과 알림의 정확도를 높여 사용자 반응률을 개선했습니다.
- Pinterest가 검색과 저장 기록을 읽고 ‘주방 리모델링’이나 ‘사워도우 배우기’처럼 사용자가 이루려는 목표를 추론해 추천과 알림에 활용
- 키워드를 추출하고 묶어 이름을 붙이던 다단계 처리 대신, 미세 조정한 40억 파라미터 LLM 하나가 활동 기록에서 목표 목록과 우선순위를 직접 생성하는 방식으로 전환
- 대형 모델이 만든 학습 데이터를 Qwen3 4B에 학습시켜 비용을 줄이고, 따로 분리되던 관심사를 하나의 목표로 묶거나 사용자 언어로 구체적인 이름을 생성
- L40S GPU 약 100개로 초당 약 775건을 처리하며, 목표가 자주 바뀌지 않는 특성을 활용해 최근 며칠 내 분석한 사용자는 건너뛰어 처리 부담을 절감
- 미국과 캐나다 실험에서 기존 클러스터링 방식보다 이메일 클릭률 1.1%, 푸시 열람률 1.3% 상승했으며, 실제 사용자 피드백을 반영하는 추가 학습은 실험 중
개별 관심사가 아닌 장기 목표를 추천에 활용
- Pinterest의 여정(journey) 은 사용자가 특정 목표를 이루기 위해 여러 차례 방문하며 검색하고 저장하는 일련의 활동을 뜻함
- ‘여름 드레스’는 관심사지만, ‘8월에 참석할 여름 결혼식에 입을 옷 알아보기’는 여정에 해당
- 주방 리모델링, 채소 정원 가꾸기, 사워도우 배우기처럼 여러 여정이 동시에 존재하며 생활 변화에 따라 달라짐
- 다음에 클릭할 콘텐츠나 ‘홈 데코’ 같은 넓은 관심사만으로는 수주에서 수개월에 걸친 목표를 파악하기 어려움
- 수납장 이미지 클릭, 주방 벽면 검색, 정원 화단 저장이 하나의 프로젝트인지, 별개 프로젝트인지, 일시적인 관심인지 구별할 필요
- 이 판단에 따라 추천할 콘텐츠와 알림 문구, 알림을 보내지 않을 시점도 달라짐
- 원하는 결과는 분류표의 항목이 아니라, 사용자가 자신의 목표로 알아볼 수 있는 구체적인 이름과 우선순위
- 사용자 활동이 시간순으로 쌓이는 전자상거래, 스트리밍, 검색 서비스에서도 같은 방식으로 활동 기록에서 의도를 추론할 수 있음
초기 클러스터링 시스템의 성과와 한계
- 초기 사용자 여정 시스템은 정답이 붙은 데이터가 거의 없어, 사전 학습된 텍스트 임베딩과 사람이 만든 수백 개의 예시로 시작
- 검색어, 사용자가 반응한 Pin의 설명 태그와 관심사, 보드에 모은 Pin에서 키워드 추출
- 키워드를 벡터로 변환하고 비슷한 것끼리 단계적으로 묶어 여정 후보 생성
- 묶음 안에서 가장 중요한 키워드를 골라 여정 이름으로 사용
- 후보별 점수로 순위를 매기고, 비슷한 후보에는 감점을 줘 상위 목록의 중복 축소
- 활동이 수주 이상 지속되는지에 따라 지속적인 관심과 일시적인 목표를 구분하고, 마지막 활동 이후 경과 시간으로 진행 또는 종료 여부 판단
- 이 시스템을 적용한 알림은 기존 관심사 기반 알림보다 이메일 클릭률 88%, 푸시 열람률 32% 높았고, 설문의 긍정 응답도 23% 증가
- 다만 단계별 오류가 쌓이면서 하나의 목표가 여러 항목으로 쪼개지는 문제가 발생
- 목표 분리: 하나의 주방 리모델링에 속하는 수납장, 조리대, 벽면 마감을 각각 다른 여정으로 처리
- 막연한 이름: 여러 주제가 섞이면 빈도가 높은 ‘Art’, ‘Recetas’, ‘Shopping’ 같은 이름을 선택해 개인화에 도움이 되지 않음
- 일시적으로 본 밈이나 유명인 콘텐츠가 중요한 목표처럼 상위에 오르는 문제도 발생
- 현재 운영 시스템은 LLM이 한 번에 여정 목록을 생성하는 방식을 우선 사용하며, 클러스터링은 필요할 때 대신 사용하는 방식으로 유지
활동 기록에서 여정 목록을 직접 생성
- 모델은 자주 바뀌지 않는 프로필 정보, 사용자의 보드, 시간순 활동 기록을 하나의 프롬프트로 받아 우선순위가 있는 여정 목록을 JSON으로 반환
- 프로필에는 성별, 언어, 국가, 연령대 등이 포함
- 수납장 검색과 벽면 타일, 조리대 저장을 종합해 ‘Modern Farmhouse Kitchen’을 생성하고, 다른 활동에서는 ‘Raised Bed Vegetable Garden’, ‘Sourdough Bread Making’, ‘Cast Iron Recipes’ 등을 도출
- 별도의 키워드 추출, 임베딩, 클러스터링, 이름 선정 단계를 거치지 않고 모델 하나가 활동 기록을 읽어 목표를 추론
- 입력 행동은 search, save, like, click, comment, dislike로 단순화하고, 중요도를 search/save > comment > like > click > dislike 순서로 명시
- 다시 Pin하기와 기기에 저장하기는 세부 행동을 구분하기보다 모두 강한 긍정 신호로 취급
- 같은 날짜와 행동의 이벤트를 묶고, Pin 사이는 세미콜론, Pin 내부 태그 사이는 쉼표로 구분해 토큰 사용량을 줄이면서 함께 일어난 활동을 드러냄
- 숨김 같은 부정적인 반응도 포함하며, 관련된 긍정 반응이 충분하지 않으면 해당 여정을 추천에서 제외
- 최대 360일, 150개 이벤트를 사용하며, 기록을 얼마나 길게 볼지와 이벤트 수를 조정해 비용과 관련성의 균형을 맞춤
- 생성 설정은 temperature 0, 추론 토큰 비활성화, 출력 최대 300토큰
- 같은 기록에서 일관된 결과와 정해진 출력 형식을 얻고, 추론 비용을 낮추려는 설정
- 출력 처리 과정에서는 문자열이 아닌 값을 버리고, 대소문자를 구분하지 않고 중복을 제거하며 먼저 나온 항목을 유지
- JSON 대신 일반 문장이 나오는 등 형식 오류가 사용자 개인화 데이터 전체의 누락으로 이어지지 않도록 처리
프롬프트에 담은 순위 기준과 안전 규칙
- 운영 프롬프트는 사용자 언어에 맞춰 각각 1~5단어인 여정 이름을 약 12개 이내로 생성하도록 요구하며, 다음 기준으로 순위를 결정
- 행동의 강도: 클릭보다 검색과 저장을 우선
- 관련 활동이 반복됐는지
- 얼마나 최근의 활동인지
- 여러 활동이 하나의 목표로 자연스럽게 이어지는지
- 이름이 구체적인지: ‘Furniture’보다 ‘Mid-Century Coffee Table’을 선호
- 무관한 주제는 합치지 않고, 한 번만 나타난 특이한 활동은 제외하며, 자동 생성 태그에는 오류가 있을 수 있다고 명시
- 상위 목록의 다양성을 높일 때도 활동 근거가 충분한 여정 안에서만 제한적으로 조정
- 근거가 없으면 빈 목록을 반환할 수 있지만, 없는 목표를 지어내서는 안 됨
- 이러한 지침이 기존의 유사도 감점과 수동 조정한 부정 반응 필터를 대체
- 자동 태그의 분류 오류를 사용자의 목표로 오인하지 않도록 하는 지침도 필요
- 프롬프트 변경 역시 모델 코드 변경처럼 검토하고 배포 절차를 거쳐 적용
대형 모델이 만든 데이터로 소형 모델 학습
- 성능이 높은 대형 모델은 별도의 과제별 학습 없이도 일관된 여정을 추론하지만, 수억 명의 활동을 정기적으로 분석하기에는 비용이 높음
- 대형 모델은 직접 서비스하는 대신 소형 모델의 학습 데이터를 만드는 데 사용
- 활동 기록마다 적절한 여정 목록을 생성해 입력과 모범 답안의 쌍을 구성
- 최종 답변 전에 추론 토큰을 더 사용하도록 했을 때 학습용 답변의 품질도 개선
- 오픈 웨이트 Qwen3의 0.6B, 1.7B, 4B, 8B 모델을 비교
- 대형 모델이 만든 예시로 지도 미세 조정(SFT)을 진행
- LoRA를 적용해 전체 파라미터 대신 작은 어댑터만 학습
- 초기 수천 개의 예시에서는 품질이 빠르게 좋아졌지만, 이후에는 개선 폭이 작아짐
- 비슷한 예시를 더 늘리기보다 여러 활동을 하나의 목표로 묶어야 하는 어려운 사례와 다국어 사례를 다양하게 고르는 편이 효과적
- 0.6B와 1.7B 모델은 더 빨랐지만 어려운 사례에서 관련성과 일관성이 떨어졌고, 4B 모델이 품질과 처리량의 균형이 가장 좋아 실제 서비스에 채택
- 같은 사용자의 기록을 비교했을 때, LLM은 따로 나뉘던 주방 관련 항목을 하나로 묶고 ‘Art’를 ‘Penguin Art Drawing’으로 구체화
- 기존에 빠졌던 ‘Cast Iron Recipes’를 찾아내고, 유명인 뉴스와 밈 같은 일시적인 활동은 제외
- 영어 설명 태그에서 이름을 고르던 기존 방식과 달리 스페인어로도 여정 이름을 생성
수억 명의 활동을 분석하고 알림으로 연결
- 알고리듬이 바뀌면 전체 사용자의 결과를 갱신하고, 평소에는 최근 활동한 사용자를 대상으로 매일 필요한 부분만 처리
- 같은 4B 모델을 비교했을 때, 단순히 고정된 묶음으로 처리하는 방식보다 요청을 계속 받아 처리하는 온라인 추론 시스템의 처리량이 높았음
- PagedAttention으로 KV 캐시 메모리 낭비를 줄임
- 연속 배칭으로 생성이 끝난 요청의 GPU 자리에 다음 요청을 바로 넣어, 가장 느린 요청이 끝날 때까지 기다리는 문제를 줄임
- L40S GPU에서 실행하는 vLLM 앞에 요청을 분배하는 NVIDIA Dynamo를 배치
- 요청을 받는 부분과 모델을 실행하는 부분을 독립적으로 확장
- 공통 프롬프트가 이미 캐시에 있는 서버로 요청을 보내 같은 내용을 다시 계산하는 비용을 절감
- 모든 요청이 긴 시스템 프롬프트를 공유하므로 접두사 캐싱을 사용하고, 입력을 나눠 처리하는 chunked prefill과 서버별 동시 처리 상한도 적용
- L40S GPU 약 100개로 초당 약 775건을 처리하며, 응답 시간 중앙값은 약 1.2초, p95는 약 3.0초
- 매일 처리할 사용자를 작은 묶음으로 나누고 동시 요청 수를 제한해, 느린 응답이 전체 작업을 지연시키지 않도록 구성
- 가장 효과가 컸던 개선은 GPU 추가가 아니라 최근 며칠 내 분석한 사용자를 건너뛰는 것
- 사용자의 장기 목표는 시간 단위로 바뀌지 않으므로 같은 결과를 반복해서 계산할 필요가 적음
- 생성에 실패하면 불완전한 목록을 저장하지 않고 해당 사용자를 재시도
- 형식이 올바른 빈 JSON 목록은 성공으로 처리하며, 근거가 없다면 막연한 ‘Art’ 알림을 보내는 대신 해당 여정의 알림을 생략
- 결과는 사용자별로 저장하고 알림을 보낼 시점에 조회
- 여정 이름을 검색어로 삼아 임베딩 기반 모델로 Pin을 찾고, 별도의 순위 모델로 다시 정렬
- 최근 알림을 보낸 여정은 반복 노출을 줄이고, 사용자가 명시적으로 거부한 여정은 제외
- 이후 알림 시스템이 실제 발송 여부와 채널을 결정
민감한 특성을 추론하지 않도록 여러 단계에서 차단
- 입력 키워드는 프롬프트에 들어가기 전에 알림 콘텐츠 필터를 통과
- 생성한 여정 이름은 같은 콘텐츠 필터와 생성형 콘텐츠 안전 필터를 모두 거침
- 일반적인 키워드로는 허용되더라도 사용자의 목표로 추론하기에 부적절한 이름은 제거
- 건강 상태, 정치, 종교, 성적 지향, 성 정체성, 인종 관련 주제를 추론하거나 타기팅하지 않도록 모델에 명시
- 프로필 정보는 최소한으로 제공하고, 생년월일 대신 연령대를 사용해 대략적인 생애 단계만 전달
- 현지 법률에 따라 EEA, 스위스, 영국의 18세 미만 사용자는 아직 적용 대상에서 제외
정답이 없는 목표 추론의 품질 평가
- 사용자가 실제로 이루려는 목표에는 미리 정해진 정답이 없어 출력 직접 비교, 활동 근거 확인, 온라인 실험을 함께 사용
- 같은 사용자의 기록에 대한 기존 시스템과 LLM의 결과를 나란히 검토
- ‘스팸 김치볶음밥’이라는 목표가 분명한데 ‘집밥’으로 뭉뚱그리거나, 충분한 근거가 있는 다른 관심사를 빠뜨리는 실패 사례도 확인
- 시간이 걸리더라도 집계 지표만으로 드러나지 않는 목표 분리와 언어 품질 문제를 파악하는 데 필요
- 별도의 언어 모델로 일부 결과를 뽑아 관련성, 활동 기록의 뒷받침, 다양성과 중복, 구체성을 평가
- 자연스럽고 서비스에 어울리는 이름이라도 활동 기록에 근거가 없으면 실패로 판단
- 미국과 캐나다의 초기 실험에서 기존 클러스터링 시스템보다 이메일 클릭률 1.1%, 푸시 열람률 1.3% 상승
- 서비스 전반의 여러 이용 및 재방문 지표도 통계적으로 유의하게 개선
- 이후 여러 언어와 국가로 확대한 실험에서도 같은 개선 방향을 확인했으며, 두 실험을 실제 서비스에 적용한 뒤 일간, 주간, 월간 활성 사용자가 증가
실험 중인 콘텐츠 표현 방식과 외부 활동 활용
- 현재 기본 모델은 미세 조정한 Qwen3 4B이며, 아래 확장 기능은 학습이나 적용 실험 단계로 모든 사용자에게 제공되는 것은 아님
- Semantic IDs(SIDs)는 Pin을 여러 설명 태그 대신 압축된 식별자로 표현하는 방식
- RQ-VAE로 각 Pin을 11비트짜리 코드 5개로 압축하고, 하나의 64비트 정수에 저장한 뒤 프롬프트를 만들 때 특수 토큰으로 변환
- 토크나이저에 SID용 토큰을 추가하고, SID와 Pin 제목, 태그를 함께 사용해 모델이 식별자의 의미를 익히도록 추가 사전 학습(CPT) 진행
- 이후 SFT로 SID가 포함된 활동 기록에서 여정을 생성하도록 학습
- SID는 활동 기록이 충분한 사용자에게만 더 좋은 결과를 보여 다음과 같이 태그 방식을 함께 사용
- SID가 있는 이벤트가 10개 미만이면 프롬프트 전체를 태그로 구성
- 특정 이벤트에 SID가 없으면 해당 이벤트만 태그로 대체
- 사용자가 직접 입력한 검색어는 의도를 가장 정확히 보여주므로 항상 원문 유지
- 기대 효과는 입력 토큰 절감, 자동 설명 태그에 대한 의존도 축소, 추천 모델과 LLM이 같은 콘텐츠 표현을 사용하는 것
- 대신 사람이 프롬프트를 읽고 문제를 파악하기 어려워지는 단점
- 휴면 사용자나 활동이 적은 사용자에게는 방문, 장바구니 추가, 가입, 결제 등 최근 외부 사이트 활동을 안전 필터를 거친 짧은 요약으로 보완
- Pinterest 안의 검색과 저장을 우선하며, 외부 활동에서는 결제를 장바구니 추가나 방문보다 강한 신호로 취급
- 내부 활동이 부족할 때만 추가하고 프롬프트에서 차지하는 비중도 제한
- 외부 활동만으로 추론한 여정은 최상위에 배치하지 않음
- 프롬프트 수정만으로 충분한지, 외부 활동을 반영한 별도 미세 조정이 필요한지 시험 중
하나의 모델로 세부 목표와 알림 문구까지 생성
- 생성 방식으로 전환하면 새로운 결과가 필요할 때 별도 서비스를 만드는 대신 프롬프트와 모델 학습을 수정하는 방식으로 확장 가능
- 한 번의 호출로 여정 이름과 더 구체적인 하위 주제, 함께 관심을 가질 만한 관련 주제를 생성하는 방식을 실험
- ‘사워도우 배우기’라는 목표에 다음 단계와 관련 주제를 함께 붙여, 추천 콘텐츠를 찾을 때 넓거나 구체적인 의도를 모두 활용
- 알림 제목도 여정 이름과 함께 생성하는 방식 시험
- ‘Photography’, ‘Hairstyles’, ‘Quotes’ 같은 일반적인 이름을 알림 제목으로 썼을 때 반응이 저조했음
- 여정 이름을 먼저 확정한 뒤 알림 문구를 작성하며, 문구를 매력적으로 만들려고 목표 자체를 바꾸지 못하도록 순서를 제한
대형 모델의 답을 따라 배우는 것에서 사용자 반응으로 학습하는 방식으로
- 대형 모델의 답변을 학습한 소형 모델은 대형 모델이 추측한 사용자 의도를 따라가는 데 한계가 있어, 실제 사용자 반응을 직접 학습하는 실험을 진행
- 여정 이메일에서 “이 여정에 관심이 있나요?”라는 질문에 대한 Yes/No 응답을 수집하고, No를 누르면 해당 여정을 즉시 알림 대상에서 제외
- 알림을 통해 방문한 뒤 Pin을 저장하거나 클릭하고 숨기는 행동도 추가 학습 신호로 활용
- 사용자 반응은 개별 여정에 대한 평가지만 모델은 순위가 있는 목록을 출력하므로, 이를 두 단계로 나눠 학습
- 많은 개별 피드백을 학습해 사용자가 관심을 보인 여정은 더 자주, 거부한 여정은 덜 생성하도록 조정
- 기존 목록에서 Yes를 받은 여정은 남기고 No를 받은 여정은 제거한 결과를 좋은 답변으로, 반대로 편집한 결과를 나쁜 답변으로 구성해 추가 학습
- 두 번째 단계는 피드백에 따라 목록을 편집하는 방식(feedback-as-edit) 으로, 첫 단계에서 학습한 모델이 순위와 다양성, 출력 형식까지 다시 맞추도록 하는 과정
- 직접 답한 Yes/No와 저장, 클릭, 숨김 같은 행동에 각각 어느 정도 비중을 둘지, 피드백이 늘수록 성능도 꾸준히 좋아지는 학습 방식을 탐색 중
- 오프라인 평가에서는 유망한 결과를 얻었으며 온라인 A/B 테스트가 진행 중으로, 사용자 피드백을 직접 반영하는 학습은 아직 실험 단계
키워드
PinterestLLM사용자 여정목표 추론