TypeSafe AI의 jev 발표를 계기로, 엔터프라이즈 비즈니스 파이프라인에서 생성형 LLM을 다루며 느낀 구조적 한계와 아키텍처적 대안을 정리한 에세이.
화려한 자연어와 비즈니스 스키마의 간극"비즈니스 인프라에서 AI의 신뢰성을 담보하기 위해 던져야 할 첫 번째 질문은 모델의 지능이나 화려함이 아니라, '시스템의 제어권이 온전히 누구에게 귀속되어 있는가'이다."
- 모니터 앞에서 실시간 피드백을 주는 1:1 보조 도구와 달리, 무인으로 돌아가는 엔터프라이즈 파이프라인에서 모델에 자율성을 위임하는 것은 데이터 오염과 예외 통제 불능의 위험을 수반함.
- 비즈니스 파이프라인이 요구하는 인터페이스는 미려한 문장이 아니라 엄격한 Type과 Schema. 확률 모델에 완벽한 정책 준수를 기대하는 건 불가능하므로, 모호한 입력을 정형 데이터로 변환하는 '정밀한 판별 기능'이 우선되어야 함.
- 블랙박스 모델은 오류 원인을 찾는 것이 어려움. 오류 수정을 위한 프롬프트 수정이나 모델 파인튜닝은 다른 곳에서 예측 불가능한 퇴행이 발생할 수 있음.
- 모델의 이상 행동을 막겠다고 입출력단에 또 다른 감시 모델등을 덧대는 구조는 응답 지연과 비용을 초래하고, 적용을 망설이게 만들어 오히려 보안 허점이 됨.
- 공학 시스템은 센서에 0% 오차를 요구하지 않음. 오차의 한계가 정량화되어 있을 때 시스템 코드가 예외 처리를 할 수 있는 것과 동일함. AI도 마찬가지로 접근해야 함.
- jev와 같은 비생성형 판별 AI는 생성 루프 없이 실제 정답률에 맞춰 보정한 신뢰도를 시스템 코드에 넘김.
- 이를 통해 AI는 코드에 종속된 '측정 및 판별용 컴포넌트' 로 격리됨.
- 프론티어 모델보다 추론이 부족한 건 결함이 아님. 코드에 종속되어 따로 교체하고 개선할 수 있는 부품이라는 점이 더 중요함.
- jev를 활용한 비즈니스가 활성화되면 모델의 성능이 개선되고 대안도 나올 것임.
- 온톨로지나 거버넌스로 LLM을 통제하며 컴포넌트로서 사용하는 방식이 이미 존재하지만 비용이 너무 커서 극소수만 감당할 수 있음.
- 대다수 기업에는 제어 가능한 비생성형 AI 컴포넌트 인 jev가 현실적인 비즈니스 AI의 출발점이 될 수 있음.