- OpenAI가 DevDay에서 소형 모델 Luna 기반의 Decision API를 공개
- 개발자가 질문, 답변 후보, 맥락을 입력하면 미리 정한 답변 후보에 신뢰도 점수를 제공하는 방식
- 주요 활용처는 콘텐츠 분류, 요청 라우팅, AI 에이전트의 다음 행동 선택
- OpenAI 발표 기준 응답 시간은 150ms로, 일반 GPT-6 Luna의 1.6초 대비 약 10배 빠름
- 일반 챗 모델에 프롬프트로 분류를 요청하는 방식과 별도 소형 분류기를 학습하는 방식 사이의 대안으로 소개됨
- 소형 분류기는 분류 항목이 바뀌면 재학습이 필요하지만, 의사결정 모델은 프롬프트로 새로운 답변 후보를 지정할 수 있음
- 기존 Moderation API도 범주별 점수를 제공하지만, 개발자가 아닌 OpenAI가 범주를 정한다는 차이가 있음
- 기사 작성 시점인 9월 29일 기준 제한적 프리뷰로 제공되며, 수일 내 제공 범위를 확대할 예정
- 호출당 가격, 요청당 답변 후보 수 제한, 자체 데이터로 모델을 조정할 수 있는지는 아직 공개되지 않음
← 목록으로
새 소식
OpenAI, Jev와 경쟁할 Luna 기반 Decision API 공개
요약
- OpenAI가 DevDay에서 소형 모델 Luna를 기반으로 한 Decision API를 공개했습니다.
- 이 API는 개발자가 입력한 질문과 답변 후보에 신뢰도 점수를 제공하며, 150ms의 빠른 응답 속도를 자랑합니다.
- 현재 제한적 프리뷰로 제공되며 수일 내로 서비스 범위를 확대할 예정입니다.
키워드
OpenAILunaDecision API