안녕하세요. 분류, 판정, 채점처럼 텍스트를 보고 답을 골라야 하는 일을 맡기는 4B 모델 Mica를 만들고 있고, 이번에 v0.5를 공개했습니다.
로그, 에이전트 실행 기록, 티켓, JSON 같은 입력이랑 질문, 허용할 답을 넘기면 답마다 확률을 돌려줍니다. 글을 생성하지 않아서 파싱할 필요가 없고, 정해 준 답 밖으로는 안 나갑니다. 에이전트가 명령을 실행해도 되는지, 작업이 정말 끝났는지, 이 티켓을 어디로 보낼지처럼 지금 큰 모델한테 예/아니오나 라벨 하나 받으려고 물어보던 자리에 쓰려고 만들었습니다.
v0.5에서 달라진 점은 이렇습니다.
입력은 32k 토큰까지 받고, 예/아니오, 객관식, 2~255단계 점수 질문을 지원합니다.
애매할 때는 찍지 않고 보류하게 할 수 있습니다.
보기 순서를 섞어도 97.3%는 같은 답을 고릅니다.
RTX 6000 Ada 한 장에서 256 토큰 입력은 19.8ms, 32k 토큰은 1.2초 정도 걸립니다. 같은 GPU에서 재본 다른 4B 디시전 모델보다 최대 3.8배 빠릅니다.
JevBench Hard 84/111로 4B 모델 중에서는 가장 높았습니다.
학습 데이터는 레딧, 트위터 등에 올라온 실제 사용 사례 200개 넘게 모아서 만들었고, 벤치마크 점수보다 실제로 썼을 때 잘 되는 쪽에 더 힘을 줬습니다.
엔비디아 그래픽카드면 INT8 버전이 제일 빠릅니다(8GB부터). AMD, 맥, CPU용 GGUF도 같이 올려뒀습니다.
git clone https://github.com/akivet/Mica && cd Mica
pip install -r v0.5/serving/requirements.txt
hf download sky7350/Mica-v0.5-4B --include "int8/*" --local-dir weights
python v0.5/serving/serve.py --backend hf --model weights/int8 --port 8010
HF: https://huggingface.co/sky7350/Mica-v0.5-4B
GitHub: https://github.com/akivet/Mica
라이선스는 Apache-2.0입니다. 써보시고 이상하게 판단하는 경우가 있으면 알려주세요.