← 목록으로

Anthropic, AI 응답이 어느 모델에서 나왔는지 검증하는 FlashProve 공개

요약
  • Anthropic은 AI 응답이 지정된 모델에서 생성되었는지 가중치 공개 없이 검증하는 오픈소스 프로토타입 'FlashProve'를 공개했습니다.
  • 이 시스템은 zkSNARK 기술을 활용해 모델 바꿔치기나 응답 변조를 방지하며, 규제 준수와 신뢰성 확보를 위한 '검증 가능한 추론'을 가능하게 합니다.
  • FlashProve는 가중치를 공개하지 않고도 응답이 사전에 지정한 모델의 계산 결과와 일치하는지 검증하는 오픈소스 연구 프로토타입
  • 모델 제공자가 가중치를 암호학적으로 확정해 두고, 사용자는 모델을 직접 실행하지 않고도 모델 바꿔치기나 응답 변조 여부를 확인할 수 있음
  • 4비트 Llama 4 Maverick 400B에서 H100 한 장으로 초당 약 110토큰의 증명 처리량을 기록함. GPU 사용 시간은 vLLM 추론의 약 70~95배
  • 현재는 최대 1,024토큰 문맥에서 정수 모델이 매번 확률이 가장 높은 토큰을 고르는 방식만 검증함
  • Claude가 증명 시스템 최적화에 기여함. 프로토콜의 보안 속성은 Lean으로 정형 검증했으며, 고속 C++ 검증기는 그 보장 범위 밖에 있음
검증 가능한 추론이 해결하려는 문제
  • 현재 사용자는 응답만 보고 선택한 모델이 실제로 실행됐는지 확실히 확인할 수 없음
    • 제3자 라우팅 서비스가 비용 절감을 위해 다른 모델로 바꾸거나, 공격자가 토큰 스트림을 조작해도 출력 품질만으로 판별하기 어려움
    • 출시 전후 모델을 평가하는 독립 평가자 역시 평가 대상과 실제 서비스 모델이 같은지 확인할 필요가 있음
  • 가중치가 비공개인 최첨단 모델은 직접 재실행하기 어렵고, 가중치가 공개돼 있어도 추론 재실행 비용이 일반 사용자나 평가자의 자원을 넘어설 수 있음
  • 검증 가능한 추론(PI) 은 가중치를 모르는 사용자도 제한된 계산 자원으로 응답의 모델 출처를 검증하게 하는 것이 목표임
    • 고객 신뢰뿐 아니라 독립 평가, 제공자의 약속과 법적 의무 이행 검증, AI 개발 속도 조절에도 활용할 수 있음
  • 소프트웨어만 사용하는 zkSNARK는 증명자가 계산의 올바른 실행을 짧은 증명으로 입증하고, 검증자가 원래 계산보다 훨씬 적은 비용으로 확인하게 함
    • 영지식 속성은 계산의 올바름에서 알 수 있는 정보 외에 추가 정보를 드러내지 않음
    • 간결성 속성은 증명 검증이 원래 계산보다 지수적으로 빠르게 이뤄지도록 함
AI 신뢰 문제의 네 가지 활용 시나리오
  • 개발 속도 조절: AI 규제와 개발 속도 조절 방안 중에는 하드웨어 사용을 감시하거나 훈련 대신 추론에 하드웨어를 쓰도록 요구하는 접근이 있음
    • 규제기관은 일정 기간 처리한 요청이 실제로 신고된 모델에서 나왔다는 증명을 요구해, 저렴한 모델로 바꾸고 남은 자원을 훈련에 돌리는 우회를 점검할 수 있음
    • 제공자와 같은 대규모 하드웨어 없이 검증하고 가중치도 보호할 수 있지만, 추론 수행 증명만으로 병행 훈련이 없었다고 입증하지는 못함
  • 변조 탐지: 가치가 높아진 모델 서버는 주요 공격 대상이 되며, 추론 서버 침해로 가중치를 탈취하거나 정상 응답 사이에 악성 응답을 섞을 수 있음
    • 더 강력한 모델이 승인된 약한 모델인 척 실행되며 자신에게 적용될 감시를 피하는 상황도 고려함
    • 모든 응답에 특정 가중치 커밋먼트에 결부된 증명을 요구하면, 서버를 장악한 공격자나 대체 모델도 기대된 가중치에 대한 유효한 증명을 만들어야 탐지를 피할 수 있음
    • 증명은 내부 정보를 노출하지 않고 저렴하게 검증할 수 있어 사용자에게도 전달 가능함
  • 텍스트 출처 확인: 소프트웨어가 보안 모델의 취약점 검사를 받았거나 사업 계획이 특정 모델의 검토를 통과했다는 사실을 검증할 수 있음
    • 채팅 기록만으로는 저렴한 모델이나 성능이 저하된 버전으로 기록을 꾸미지 않았다고 보장할 수 없음
    • 입력과 출력에 연결된 증명은 선택한 모델이 실제로 응답했는지 확인하며, 기존 모델 출처 검증 방식을 보완함
    • 예를 들어 특정 모델이 패치 분석에 최소 100만 토큰을 사용했지만 버그를 찾지 못했다는 Proof-of-Failure를 제공할 수 있음
  • 모델 승인 준수: 안전하다고 승인된 모델만 서비스하도록 요구할 때, 응답마다 증명을 붙여 승인되지 않은 모델의 사용을 확인할 수 있음
    • 증명이 요청과 사용 모델을 연결하므로, 규제기관은 모든 요청을 재실행하지 않고도 검사 가능함
  • 신뢰 실행 환경(TEE) 과 암호학적 증명은 상호 보완적임
    • TEE는 제조사가 변조에 강한 하드웨어를 만든다는 신뢰에 의존함
    • 소프트웨어 기반 증명은 계산 문제의 난도에 의존하므로 하드웨어나 운영체제가 침해돼도 암호학적 가정을 깨지 않는 한 거짓 계산에 대한 유효한 증명을 만들 수 없음
  • Anthropic은 Frontier Safety Roadmap의 공개 목표로 2026년 9월 30일까지 추론 트래픽 검증 프로토타입을 개발하기로 했으며, 별도의 관련 프로젝트로 이를 달성함
    • 해당 프로젝트는 트래픽에 서명하고 신뢰된 서버에서 추론을 재계산하며, FlashProve는 암호학적 증명이라는 다른 방법을 추구함
    • 2026년 10월 19일 업데이트에서는 여러 방식으로 토큰 스트림 무결성을 보장할 수 있다는 취지로 목표 이름을 ‘provable inference’에서 ‘inference verification’으로 변경함
FlashProve의 구조와 보장
  • FlashProve는 대규모 MoE 언어 모델의 추론 증명 시스템이며, 모델 제공자가 증명자, 사용자가 검증자 역할을 맡음
    • 오프라인 단계에서 가중치를 숨기면서 정확히 하나의 가중치 집합을 고정하는 짧은 지문인 커밋먼트를 공개함
    • 온라인 단계에서 프롬프트와 출력 토큰에 대해 “커밋된 모델을 실행하면 이 출력 토큰이 나온다”는 증명 파일을 생성함
    • 커밋먼트, 프롬프트, 응답을 가진 누구나 가중치 없이 증명을 검사할 수 있음
  • 프로토콜은 네 가지 속성을 갖도록 설계됨
    • 완전성: 정직한 증명자가 만든 올바른 증명은 검증기가 수락함
    • 건전성: 널리 믿어지는 암호학적 가정을 깨지 않는 한 거짓 명제의 유효한 증명을 만드는 것은 사실상 불가능함
    • 영지식성: 가중치, 중간 계산값, 각 계층에서 실행된 전문가 네트워크를 숨기되 아키텍처는 공개됨
    • 간결성: 양자화 상태에서 약 232GB인 4,000억 매개변수 모델의 계산을 약 19MB 증명으로 확인하고, 24코어 CPU에서 수초 단위로 검증할 수 있음
  • 기반 기술은 Starknet, Mantle 같은 블록체인 L2 네트워크에도 쓰이는 유형의 zkSNARK임
    • 정보이론적 구성인 대화형 오라클 증명(IOP) 을 해시 함수로 암호학적 증명으로 변환하며, 양자내성 보안도 제공함
    • 부호이론과 계산복잡도 이론에 기반한 선형 제약 조건을 갖는 코드 근접성 검사, 조회 논증 등의 구성 요소를 추론 전용 IOP로 결합함
성능 평가와 단일 GPU 설계
  • 평가에는 Llama 4 Maverick의 공개 4비트 가중치를 사용함
    • 전체 매개변수는 약 4,000억 개이며 토큰당 약 170억 개를 사용함
    • 요청마다 1,024토큰 창을 사용하고, 각 증명은 토큰 하나를 검사함
    • 증명자는 H100 1개와 CPU 24코어 서버에서 실행하며 검증자는 CPU만 사용함
  • 증명 생성 성능은 24개 요청 배치에 약 223초, 처리량은 초당 약 110토큰이며 증명 하나는 18.78MB임
    • 모델당 한 번 수행하는 오프라인 단계는 약 39분이 걸림
    • 생성된 커밋먼트는 약 1,600만 요청에 유효하며 이후 다시 커밋해야 함
  • 검증하려면 약 6.5MB 커밋먼트와 요청별 증명을 다운로드해야 함
    • 오프라인 단계 검사까지 포함해 증명 하나를 24스레드에서 17초, 단일 스레드에서 21초에 검증함
    • GPU나 모델 가중치는 필요하지 않음
  • vLLM 비교 실험은 같은 모델의 FP8 버전과 H100 8개를 사용했으므로, 증명 시스템과 실행 조건이 같지는 않음
    • GPU당 시간 기준으로 24개 요청 배치 증명은 동일 배치의 vLLM 추론보다 약 72배 느렸으며, 실행별 범위는 66~77배였음
    • 실험한 최대 부하의 vLLM과 비교하면 약 94배의 GPU 시간이 필요했음
  • MoE 구조와 배치 처리를 활용해 증명 비용과 메모리 요구량을 줄임
    • 토큰당 증명 작업은 전체 4,000억 매개변수가 아니라 실제 사용한 약 170억 매개변수에 비례하며, 어떤 전문가를 선택했는지는 숨김
    • 완성된 텍스트를 프리필처럼 한 번에 병렬 처리하고, 가중치 커밋먼트를 요청마다가 아니라 배치마다 한 번 개방함
    • 계층의 가중치를 분할해 구간별로 증명하고 호스트 메모리에서 스트리밍하므로, 80GB GPU 1개와 약 290GB 호스트 메모리로 실행 가능함
  • 사후 증명은 추론과 동시에 증명하는 인라인 방식과 다른 절충을 택함
    • 인라인 방식은 매우 빠른 처리가 요구돼 보안과 효율 사이의 절충이 생길 수 있지만, 사후 방식은 더 느린 처리를 허용함
    • 대신 재계산 복잡성, 트래픽에 대한 보장 지연, 내재적 비결정성이 있으며 일부 토큰을 사후 검사함
Claude의 최적화와 Lean 정형 검증
  • Claude는 기존 암호학과 보안 연구의 도구를 새롭게 적용하고 확립된 증명 시스템 설계 원칙을 활용해, 기존 오픈소스보다 상당히 빠른 시스템을 구축함
    • 복잡한 시스템에서 Claude가 내리는 최적화 결정은 평가하기 어려울 수 있어, 보안 보장을 감사 가능한 최상위 Lean 명제로 제공함
  • Lean으로 프로토콜과 완전성, 건전성, 영지식성을 명세하고 기계적으로 검사 가능한 증명을 작성함
    • 해시 함수 기반 프로토콜을 분석하는 랜덤 오라클 모델에서 속성을 기술함
    • 정형 증명의 정확성에도 컴파일러 오류 가능성은 남아 있음
  • 정형 검증 이후에도 두 가지 신뢰 공백이 존재함
    • 형식 명제가 실제 의도와 일치하는지 사람이 감사해야 하며, 이를 위해 대화형 정리 시각화 도구를 제공함
    • 실행 코드가 보안 속성을 증명한 프로토콜과 일치하는지도 감사해야 함
  • 건전성에는 검증기의 정확성이 중요하므로, C++ 검증기와 함께 실행 가능한 Lean 검증기를 제공함
    • Lean 검증기는 더 느리지만, 건전성 정리의 검증기가 수락하는 증명만 수락함을 Lean으로 증명함
    • 일상 사용용 C++ 검증기에는 정형 보장이 없으나 모든 테스트에서 Lean 검증기와 같은 결과를 냈음
  • 완전성은 정직한 증명자와 검증자의 상호작용에 달려 있으므로, 올바른 명제에 대해 증명을 생성하고 Lean 검증기로 검사하는 일반적인 소프트웨어 테스트로 신뢰를 높일 수 있음
  • 영지식성에는 증명자의 정확성이 중요하지만, 계산 비용이 큰 증명자를 Lean으로 실행하는 것은 비현실적임
    • 이 부분을 위한 별도 지원 도구는 제공하지 않으며, 가중치를 숨기려는 운영자는 에이전트나 사람의 보안 감사를 통해 구현이 Lean의 증명자 정의와 일치하는지 확인해야 함
기존 zkML 연구와의 비교
  • zkML은 작은 신경망에서 대형 언어 모델로 증명 범위를 넓혀 왔음
    • SafetyNets(2017)는 합성곱 계층 2개인 MNIST CNN과 작은 완전연결 음성 모델을 검증함
    • zkCNN(2021)은 1,500만 매개변수 VGG-16을 증명당 88.3초에 처리했고, Kang 등의 연구(2022)는 전체 해상도 ImageNet의 MobileNet v2를 증명함
  • 초기 Transformer 증명은 처리 비용이 매우 높았음
    • ZKML의 GPT-2는 1억 1,700만 매개변수에서 토큰당 약 159초가 걸렸고, Modulus Labs의 GPT-2 XL은 15억 매개변수 모델에 90시간 이상이 필요했음
    • EZKL(2023)은 100만 매개변수 GPT형 Transformer에서 토큰당 약 966초가 걸렸음
  • 2024~2025년에는 더 큰 모델과 빠른 증명으로 발전함
    • zkLLM(2024)은 LLaMA-2-13B의 2,048토큰 입력을 GPU에서 약 15분에 증명했으며, 배치 기준 약 2.5토큰/초였음
    • zkGPT(2025)는 GPT-2를 21.8초에, zkPyTorch는 Llama-3 8B를 CPU 1코어에서 토큰당 약 150초에, ZKTorch는 GPT-J 6B를 약 20분에 증명함
  • 최근 시스템들도 처리량을 높이고 있음
    • DeepProve는 한 번의 순전파로 전체 생성 시퀀스를 증명하며, 단일 머신에서 GPT-2 약 2.9토큰/초, Gemma 3 약 1.4토큰/초, 분산 환경에서 31토큰/초를 달성함
    • SASH의 증명자(2026)는 단일 H100에서 Llama 3.1 8B 약 1.25토큰/초를 기록함
    • 상용 시스템 Attestable은 단일 H100에서 Gemma 4 31B의 53~77토큰/초를 발표했지만, 게시 시점에 대응하는 오픈소스 라이브러리는 공개하지 않았음
  • 같은 Llama 4 Maverick을 증명한 VerInf는 DGX Spark에서 1,000토큰에 14.3시간, 증명 크기 93.6GB, 검증에 거의 하루가 필요했음
    • FlashProve는 단일 H100에서 110토큰/초, 약 19MB 증명, 수초 단위 검증을 달성함
    • Anthropic은 이런 진전이 다른 모델과 아키텍처에도 이어져, 원래 계산 대비 약 70~95배 비용으로 유연한 증명 도구를 만들 수 있을 것으로 기대함
연구 프로토타입의 한계
  • 빠른 실행 코드의 정형 보장 부재: Lean 프로토콜, 논문, 빠른 실행 코드가 모두 서로 일치한다고 보장하지 않음
  • 정수 모델과 탐욕적 디코딩만 증명: 공개 가중치의 정확한 정수 버전에서 검사 대상 토큰이 탐욕적 선택인지 확인함
    • 부동소수점 구현이나 샘플링 디코딩의 응답은 어느 지점부터 증명된 계산과 달라질 수 있음
    • 정수 버전과 실제 부동소수점 추론의 차이는 일반적으로 작을 것으로 예상되며 경험적으로도 검사했지만, 적대적으로 설계한 프롬프트는 보장 범위에 없음
  • 아키텍처 비공개는 미지원: 각 Transformer 계층의 순방향 블록을 여러 전문가와 라우터로 대체하는 MoE 구조를 전제로 효율을 얻음
    • 밀집 모델 등 다른 아키텍처의 구조 자체도 지식재산일 수 있음
    • 향후에는 가중치와 추론 실행 코드를 모두 숨기는 커밋먼트로 구조까지 감추는 시스템을 고려할 수 있으나, 효율성이 과제로 남음
  • 부채널 공격은 범위 밖: 증명 자체는 가중치 정보를 드러내지 않지만, 증명 생성 시간 같은 부가 정보에서 가중치 관련 정보가 유출될 가능성은 다루지 않음
  • 문맥 길이 제한: 현재 최대 1,024토큰만 증명하며, 채팅이나 수십만~수백만 토큰 문맥을 지원하는 최첨단 모델에 비해 짧음
공개 자료와 사용 조건
  • 공개 결과물은 연구 소개, 기술 보고서, Claude가 작성한 프로토콜 명세, 실행 코드, Lean 증명으로 구성됨
    • 실행 코드에는 증명자, 빠른 C++ 검증기, 정확성을 증명한 Lean 검증기가 포함됨
    • Lean 증명과 명제 감사용 시각화 도구도 함께 공개함
  • 코드, Lean 증명, 문서는 Apache 2.0으로 배포하지만 모델 가중치는 포함하지 않음
    • 사용한 가중치는 Hugging Face의 제3자 공개 4비트 변환본이며, 별도로 Meta의 Llama 4 라이선스에 따라 받아야 함
    • 공개물에는 커밋먼트 ID, 체크섬, 성능 수치, 일부 매개변수 설정 등 모델에서 계산한 작은 결과물이 들어 있고, 목록은 THIRD_PARTY.md에서 확인할 수 있음
    • 전체 예제 실행에는 대형 GPU 머신과 Meta 토크나이저 접근이 필요함
  • 이번 공개는 완성된 연구가 아닌 중간 성과이며, 다른 연구자가 결과를 검증하고 개선하거나 다른 모델로 확장하도록 하는 것이 목표임
그냥 목록으로
원문 보기 ↗