← 목록으로

AI에 회사 맥락을 제공하고 ‘회사 두뇌’를 구축하는 방법

요약
  • AI가 기업 업무에 정확한 답변을 제공하기 위해서는 기업 고유의 지표, 정책, 업무 방식 등 '맥락'을 포함한 '회사 두뇌'를 구축해야 합니다.
  • 이를 위해 핵심 맥락 문서를 작성하고, 정적 문서와 실시간 업무 도구를 연결하여 사람과 AI가 공유하는 지식 체계를 마련하는 것이 중요합니다.
  • AI가 회사에 맞는 답을 하려면 지표 정의, 정책, 업무 방식처럼 추측할 수 없는 정보를 문서화하고, 실제 업무 도구와 연결해 팀 전체가 공유해야 함
  • 회사 두뇌(company brain) 는 직원과 AI 에이전트가 함께 사용하는 지식 기록으로, 문서뿐 아니라 연결된 도구의 최신 기록과 업무 중 쌓이는 수정 사항을 반영함
  • 1~2페이지 문서에 신입 직원이 첫 주에 물어볼 내용부터 사내 기준을 정리하고, 지표 계산법, 승인 기준, 내부 용어와 어느 시스템을 기준으로 삼는지 적음
  • 바뀌는 사내 지식은 파인튜닝보다 검색과 최신 기록 조회로 제공하는 편이 적합. 주요 업무 도구 2~3개를 연결해 최신 기록을 가져오는 것부터 시작함
  • 정답을 아는 질문 10~20개를 만들어 문서나 연결 도구가 바뀔 때마다 답변과 출처를 확인하며, AI가 틀리면 빠진 정보는 추가하고 낡은 정보는 갱신해, 같은 오류를 팀 전체에서 줄임
  • 문서마다 담당자와 검토일을 지정하고, 유용한 프롬프트와 작업 흐름을 공유해야, 개인 채팅에 갇힌 지식이 퇴사나 부재 이후에도 조직에 남아 개선될 수 있음
회사 두뇌와 기존 지식 도구의 차이
  • 회사 두뇌는 사람의 머릿속, Slack 대화, 오래된 문서에 흩어진 정의, 의사결정, 정책, 작업 흐름을 AI가 읽고 공유할 수 있는 형식으로 모은 기록임
    • 모든 직원과 AI 에이전트가 같은 맥락을 사용하며, 사람들이 지식을 가르치고 서로의 작업을 발전시키면서 성장함
    • 조직의 기억과 제도적 지식 자체는 새로운 개념이 아니지만, AI가 활용하려면 이를 기록하고 연결해야 함
  • 지식 베이스는 정책, 사용법, FAQ처럼 사람이 작성한 문서를 보관하고, 누군가 페이지를 수정할 때 갱신됨
    • 사람은 검색하거나 둘러보며 필요한 정보를 찾음
  • 기업 검색은 여러 앱에 이미 존재하는 콘텐츠를 색인하고 재색인하며, 사람이 검색하는 데 사용함
  • 회사 두뇌는 정의와 의사결정, 작업 흐름에 연결된 도구의 실시간 기록을 더하고, 업무와 수정 과정에서 갱신되며 사람과 AI 에이전트의 공통 맥락으로 쓰임
AI가 회사 정보를 잘못 이해하는 이유
  • 기본 AI 모델은 인터넷 지식을 학습했지만 회사의 고유한 기준은 알지 못함
    • 매출을 인식 매출 기준으로 보고하는지, 회계연도가 2월에 시작하는지, 모회사와 자회사 3곳을 고객 하나로 세는지 등을 별도로 알려줘야 함
  • 특히 다음과 같은 암묵지에서 오류가 발생하기 쉬움
    • 지표 정의에는 계약 매출과 인식 매출, 고객 수 기준과 매출액 기준의 이탈률, 활성 고객의 기준 등이 있음
    • 일정에는 회계 분기와 달력 분기의 차이, 결산 마감일 등이 해당함
    • 승인 기준은 금액별 승인 담당자를 정함
    • 법인별/지역별 규칙에는 국가별 일비, 휴일, 정책 등이 있음
    • 내부 명칭에는 약어, 제품 코드명, 외부와 다른 뜻으로 쓰는 팀 이름 등이 해당함
  • Atlassian의 State of Teams 연구에서 리더와 팀은 답을 찾는 데 업무 시간의 25% 를 낭비한다고 응답함
  • 영국 직원 2,003명을 대상으로 한 Microsoft 설문에서는 71% 가 업무에 승인되지 않은 소비자용 AI 도구를 사용한 적이 있다고 응답함
    • 개인이 AI에 가르친 지식 대부분은 개인에게 머무르므로, AI 활용 준비는 새 모델보다 맥락과 통제에서 시작해야 함
1. 1~2쪽의 회사 맥락 문서 작성
  • 회사에 대한 사전 지식이 없는 신입 직원이 첫 주에 물을 내용을 기준으로 문서 하나를 작성함
  • 문서에는 다음 일곱 항목을 담음
    • 회사 개요에는 판매 제품, 고객, 직원 수, 법인, 회계연도 시작 시점을 적음
    • 용어집에는 내부 약어, 제품명, 팀 이름을 정리함
    • 지표 정의에는 ARR, 매출총이익률, 이탈률 등 보고 수치별 계산식, 원천 시스템, 담당자를 기록함
    • 고객군은 중소기업, 중견기업, 대기업을 구분하는 기준을 명시함
    • 정책에는 경비 한도, 승인 금액 기준, 데이터 처리 규칙을 담음
    • 업무 방식에는 승인 담당자, 결산 일정, 기준 정보의 위치를 적음. 예를 들어 영업 파이프라인은 CRM, 매출은 ERP를 기준으로 삼음
    • 문체와 형식에는 고객 이메일, 이사회 보고, 내부 문서 작성 방식을 정리함
  • 가격이나 직원 수처럼 바뀌는 정보에는 날짜를 붙여 오래된 정보인지 판단할 수 있게 함
2. 맥락을 보관할 위치 선택
  • 직접 구축하려면 공유 문서, 팀 프로젝트나 커넥터를 지원하는 AI 도구, 권한 설정, 관리 담당자를 준비해야 함
    • Glass 같은 팀용 AI 작업 공간을 사용할 수도 있으며, 어느 쪽이든 필요한 단계는 같고 팀이 맡는 설정과 유지관리 부담이 달라짐
  • 맥락 저장 방식은 공유 범위, 최신성, 설정 노력 사이의 절충이 있음
    • 맞춤 지침: 개인 채팅의 역할, 문체, 형식 선호를 저장하지만 작성자에게만 도움이 됨
    • 프로젝트: 파일과 지침을 묶어 프로젝트 안의 모든 채팅에 적용하므로, 참조 문서가 안정적인 팀이나 업무에 적합함. 파일은 직접 갱신해야 하며 공유에 유료 팀 요금제가 필요할 수 있음. Claude는 Team과 Enterprise에서 프로젝트 공유를 지원함
    • 커넥터와 MCP: Slack, Google Drive, Notion 등의 최신 기록에 접근하지만, 기존의 과도한 공유 권한도 그대로 이어받음
    • 기업 검색(RAG): 여러 앱의 문서를 색인하고 질문에 맞는 부분을 가져오므로 분산된 대규모 문서에 적합함. 색인 전에 권한을 올바르게 설정해야 함
    • 파인튜닝: 예시로 모델을 추가 학습해 형식, 문체, 작업 수행 방식을 일관되게 만들지만, 사실을 안정적으로 가르치는 수단은 아니며 정책이 바뀌면 낡아짐
  • OpenAI의 정확도 최적화 가이드는 지식 부족에는 검색, 행동의 비일관성에는 파인튜닝을 대응시킴
  • Model Context Protocol(MCP)은 AI 앱을 데이터와 도구에 연결하는 개방형 표준이며, Claude는 MCP를 지원하는 서비스에 연결할 수 있음
  • 대부분의 회사에는 정의와 규칙을 정리한 문서, 최신 기록을 가져오는 커넥터의 두 계층이 필요함
3. 실제 업무가 이뤄지는 도구 연결
  • 정적 문서는 규칙을 담지만, 일상적인 답변에 필요한 정보는 Slack 대화, 통화 기록, 티켓, 공유 드라이브에 있음
    • 해당 도구를 연결하면 지난 분기 추출본 대신 최신 기록을 바탕으로 답할 수 있음
  • 우선 의사결정이 이뤄지는 도구 2~3개로 시작하고, 답변에 대한 신뢰가 쌓이면 범위를 넓힘
    • 영업팀은 통화 기록, 지원팀은 티켓, 재무팀은 결산 체크리스트와 정책 문서부터 연결함
  • 출처를 보여주는 도구를 선택해야 사람이 실행 전에 답변을 확인할 수 있음
    • ChatGPT의 company knowledge는 답변의 근거 자료로 연결되는 링크를 제공할 수 있음
4. 연결 전에 접근 권한 설정
  • 커넥터는 일반적으로 사용자의 기존 권한을 이어받음
    • Claude도 커넥터 문서에 따라 연결 서비스의 개인별 권한을 상속함
    • 민감한 데이터의 접근 제한이 유지되지만, 이미 ‘링크가 있는 모든 사용자’에게 공유된 파일은 AI를 통해 발견할 수 있게 됨
  • 연결 전 다음 네 가지 점검이 필요함
    • 광범위하게 공유된 폴더와 채널을 감사하고, 특히 재무, 인사, 고객 데이터를 확인함
    • 커넥터 활성화 권한자를 정함. Claude의 Team과 Enterprise에서는 Owner가 활성화하고 각 사용자는 별도로 로그인함
    • 행동을 수행하는 AI 에이전트의 읽기 권한과 쓰기 권한을 분리함
    • 공급업체의 데이터 약관을 확인해 사용 중인 요금제가 회사 데이터를 학습에 사용하지 않는지 검증함
5. 정답을 아는 질문으로 검증
  • 정답을 아는 질문 10~20개를 만들고 맥락을 바꿀 때마다 실행함
    • 간단한 조회와 AI가 자주 틀리는 질문을 섞음
    • 지난 분기 매출총이익률과 계산법, 자회사 3곳을 둔 고객의 집계 방식, 15,000달러 소프트웨어 구매 승인자, 회계연도 시작일 등이 예시임
  • 각 답변에 출처를 인용하고, 맥락에 없는 정보는 없다고 말하도록 지시함
    • 추측하는 모델보다 “모르겠다”고 답하는 모델이 더 유용함
6. 담당자를 정하고 최신 상태 유지
  • 정책이 바뀌는 순간 기존 맥락은 낡아지므로, 각 부분에 담당자와 검토일을 지정함
    • 재무팀은 지표 정의, 인사 운영팀은 정책을 맡는 식으로 관리함
  • AI의 오답은 누락된 사실과 오래된 사실로 나눠 기록함
    • 누락된 사실은 추가하고, 오래된 사실은 갱신함
    • 공유 오류 기록을 사용하면 한 채팅에서만 고치는 대신 모두에게 수정 결과가 적용됨
  • Ramp의 Glass 구축 경험에서는 초기 설정보다 이후의 유지관리 부재가 문제였음
    • 누군가 잘 만든 첫 버전을 아무도 다시 갱신하지 않을 때 시스템이 무너지기 시작함
7. 좋은 작업을 공유 작업 흐름으로 전환
  • 가치 있는 맥락은 문서뿐 아니라 업무 수행 중에도 생성됨
    • 복잡한 고객 통화를 정리된 고객사 계획으로 바꾸는 프롬프트, 이사회 자료 작성 전에 예산 차이를 잡는 작업 흐름 등이 해당함
  • 검증된 작업을 팀 프로젝트에 공유 작업 흐름으로 저장하면 다음 사람이 빈 화면 대신 절차와 그 맥락에서 출발할 수 있음
    • 탭을 닫거나 휴가를 가거나 퇴사해도 지식이 사라지지 않게 됨
  • Ramp에서는 한 사람이 공유한 슬라이드 형식을 처음 슬라이드를 만드는 사람들도 활용해, 각자 형식을 새로 만들 필요가 없어졌음
개인 맥락에서 회사 두뇌로 발전하는 세 단계
  • 개인 맥락은 한 사람의 채팅 기록과 맞춤 지침에 있으며, 그 사람만 혜택을 받고 기억할 때 갱신됨
    • 영업 담당자가 저장한 통화 요약 프롬프트가 예시이며, 퇴사하면 맥락도 함께 사라짐
  • 팀 프로젝트는 파일과 지침을 공유해 한 팀이 활용하고, 누군가 새 파일을 올릴 때 갱신됨
    • 결산 체크리스트를 담은 재무 프로젝트가 예시이며, 담당자가 떠나면 자료는 남지만 갱신이 중단됨
  • 회사 두뇌는 회사 도구에 연결된 공유 작업 공간에서 전 직원이 활용함
    • 담당자, 커넥터, 일상 업무의 수정 사항을 통해 갱신되며, 각 팀의 정의와 작업 흐름, 맥락이 한곳에 남아 계속 개선됨
  • 가장 많이 쓰는 맥락부터 개인 설정에서 조직 공유 체계로 옮기는 것이 목표임
Ramp의 Glass 구축과 활용 사례
  • Ramp에서는 AI 활용에 앞선 직원들이 좋은 개인 설정을 만들었지만, 대부분의 작업이 재사용되지 않았음
    • 소규모 팀이 이를 함께 활용할 공간을 만들었고, Glass로 발전함
    • 사용자는 빈 채팅 대신 동료가 이미 알아내고 공유한 지식에서 시작함
  • Glass는 공유 맥락과 재사용 가능한 작업 흐름을 한곳에서 제공함
    • 기존 업무 도구를 연결해 회사 지식에 접근함
    • 공유 프로젝트에 팀 맥락과 반복 활용할 절차를 함께 저장함
    • 세션에 동료를 초대해 지원 담당자와 엔지니어가 티켓을 함께 처리할 수 있음
    • 여러 공급업체의 모델 중 선택할 수 있어 새 모델이 나오면 사용할 수 있음
  • 고객 통화의 기능 요청 처리는 개인 프롬프트에서 팀 작업 흐름으로 확장된 사례임
    • 이전에는 기능 요청을 Salesforce에 수동으로 복사했음
    • 고객사 담당자 한 명이 통화에서 요청을 추출하는 프롬프트를 저장한 뒤 팀 전체가 활용하게 됨
    • 다른 프롬프트가 우선순위를 정하고, 세 번째 프롬프트가 요청 기능 출시 시 고객에게 이메일을 보냄
그냥 목록으로
원문 보기 ↗