최근 독파모 4파전에서 모티프테크놀로지스가 탈락했습니다.
Motif3을 직접 사용해보지는 않았지만 나름 정량적으로는 가장 좋은 평가를 받았다는 이야기를 들었던 것 같습니다.
그에 비해 LG K-EXAONE-2.0의 경우에는 공개된 성능 수치가 기대에 미치지 못한다는 평가도 있었고, 최근에는 commonsense_and_lg_knowledge_and_riddle 스킬과 관련한 논란도 있었습니다. 더 나은 아키텍처나 학습 방법론을 통해 모델 자체의 성능을 높인 것이 아니라, 특정 유형의 문제에 유리하도록 별도의 지식이나 답변 패턴을 주입한 것 아니냐는 의문입니다. 사실관계와 별개로, 이런 논란 자체가 현재 AI를 어떤 방식으로 평가해야 하는지 생각하게 만듭니다.
저는 회사에서 다양한 도메인 솔루션에 접목할 수 있는 에이전트 시스템을 설계하고 계획합니다. 그러면서 느끼는 점은 특정 버티컬마다 문제 정의가 다르고, 그 안에서 FM이 맡는 역할 역시 모두 다르기 때문에 단순한 정량 지표나 벤치마크 점수만으로 모델의 가치를 평가하기 어렵다는 것입니다. 아마 독파모 평가에서도 이런 점을 고려해 사용성 평가를 별도로 포함했을 것이라고 생각합니다.
다만 여기서 궁금한 점이 생깁니다.
우리가 평가하려는 대상은 좋은 Foundation Model일까요, 아니면 그 Foundation Model을 활용해 잘 구성된 AI 시스템일까요?
실제 서비스라면 외부 지식, RAG, tool, skill, rule-based logic 등을 적극적으로 활용해 성능을 높이는 것이 당연히 좋은 엔지니어링입니다. 하지만 그것을 FM 자체의 능력과 같은 기준에서 평가하기 시작하면 이야기가 달라진다고 생각합니다. 반대로 순수한 벤치마크 성능만 평가하면 실제 산업 현장에서 훨씬 유용한 모델이 낮은 평가를 받을 수도 있습니다.
결국 독파모가 뽑고 싶은 것이 시험을 가장 잘 보는 모델인지, 실제 산업에서 가장 유용한 모델인지, 혹은 장기적으로 국내 AI 기술 역량을 끌어올릴 수 있는 팀인지가 조금 더 명확해야 하지 않을까 싶습니다.
벤치마크 성능, 모델 자체의 기술적 독창성, 서비스 사용성, 에이전트 시스템으로서의 완성도는 서로 꽤 다른 평가 대상이라고 생각합니다. 이들을 하나의 종합점수로 합산하는 것이 과연 적절한지도 궁금합니다.
여러분은 독파모의 목적과 현재 평가 방식에 대해 어떻게 생각하시나요?
특히 FM 자체의 성능과 실제 서비스에서의 사용성을 어떤 비율과 방식으로 평가해야 공정하다고 보시는지 의견이 궁금합니다.