- Salesforce AI Research의 Ben Stolovitz는 코딩 에이전트 5~6개를 병렬로 운용하며, 자신의 코드 90% 이상을 AI에 맡김
- 에이전트마다 별도 Git worktree를 주고 구현, 버그 재현, 테스트, PR 작성을 맡김. 사람은 설계와 검증에 집중함
- 올해 가장 성공적이었던 작업은 AI가 만든 약 4,000줄을 직접 쓴 수백 줄로 교체한 일임. 병렬 작업의 피로와 코딩의 즐거움이 줄어드는 문제도 겪음
- AI는 문헌을 찾고 알려진 개념을 배우는 데 자주 쓰지만, 새로운 연구에서는 응답을 검토하는 데 직접 생각하는 것보다 더 힘이 들기도 함
- 요약과 받아쓰기에는 로컬 모델을 쓰고, 블로그와 업무 메시지는 직접 작성함. 다른 사람과 좋은 것을 만드는 데 도움이 되는가를 AI 사용 기준으로 삼음
- 2025년 10월의 사용 기록 이후 Microsoft Windows AI 팀 엔지니어에서 Salesforce AI Research 연구 엔지니어로 옮김
- 대규모 엔지니어 팀과 협업하던 이전 직무에 비해, 지금은 연구자들을 지원하고 빠르게 시제품을 만드는 데 더 많은 시간을 씀. 이 환경에서 사용하는 토큰 비용은 월 약 3,000달러임
- 코딩, 조사와 검색, 요약과 전사, 글쓰기, 예술과 음악이라는 기존 용도에 음성과 영상이 추가됨
- 사용 평가와 전망은 개인적인 경험과 의견에 기반함
- 일상에서 AI를 어떻게 사용할지 정하는 개인 정책을 작성하기 시작함
- 동료가 Claude로 Slack 메시지를 쓰고, 조부모가 손주 이미지로 기묘한 밈을 만들며, 연구자가 사고를 기계에 위임하는 모습을 봄
- Hank Green이나 BrainPOP처럼 뛰어난 창작자도 AI 사용에서 시행착오를 겪는 상황이며, 사회적 규범이 아직 부족하다고 봄
- 사이트용 정책도 별도로 구상 중이며, Hank Green의 AI 정책을 참고할 가능성이 있음
- 정책의 기준은 다른 사람들과 멋진 것을 만드는 삶에 AI가 도움이 되는지, 방해가 되는지 구분하는 것임
- AI가 더 똑똑해짐에 따라 정책도 수정할 생각이며, 첫 초안이 완전히 틀릴 가능성도 열어 둠
- 지난해에는 GitHub Copilot 자동완성이 중심이었지만, 이제는 직접 작성하는 코드가 거의 없음
- Claude Code, OpenCode, Codex, Pi 등의 에이전트 약 5~6개에 기능 구현, 버그 재현, 기타 작업을 맡김
- 에이전트마다 별도 Git worktree를 주며, 에이전트는 코드 작성과 테스트 실행뿐 아니라 PR 생성과 검토도 수행함
- 한 번의 프롬프트로 Mumble 클라이언트에 노이즈 감소 기능을 추가한 사례가 있음
- 경험상 에이전트는 새 기능의 시제품을 약 20분에 만들어 주며, 기능 구현과 버그 수정, 테스트, 도구 제작의 범위를 크게 넓힘
- 복잡한 오디오 코드를 macOS와 iOS에서 몇 분 만에 시험함
- 사람으로 구성된 팀의 빠른 실패보다 더 빠르게 과감한 아이디어를 시험하고 버릴 수 있음
- 노이즈 제거를 개선하는 대규모 Mumble 변경을 연결하고 테스트했으며, 해당 베타 빌드를 거의 매일 사용함
- 반복 작업의 부담도 줄어듦
- 버그 설명과 수정 요청만 남기고 다른 일을 하는 동안 에이전트가 긴급 버그를 진단하고 고친 사례가 있음
- 코드 리뷰에서 큰 변경을 제안하거나 대안을 직접 만들어 보는 부담이 줄어, 동료에게 더 친절하게 피드백할 수 있게 됨
- 코드 작성과 달리 엔지니어링은 해결되지 않았다고 봄
- 에이전트를 방치하면 제대로 작동하지 않고, 과도하게 설계됐으며, 읽기 어려운 코드를 만들기 쉬움
- 좋은 결과에는 여전히 사람의 안목과 경험이 필요하며, 사소한 UI 취향보다 중요한 설계 판단이 더 큰 비중을 차지함
- 올해 가장 성공적이었다고 꼽은 작업은 AI로 만든 약 4,000줄의 코드를 직접 작성한 수백 줄로 교체한 일이었음. 새 도구는 이전보다 유연하고 테스트하기 쉬웠으며, 다른 상황에도 적용하기 좋았음
- 이런 인간의 우위가 얼마나 오래갈지는 알 수 없음
- 여러 기능을 두고 여러 에이전트와 동시에 대화하는 일은 과도한 자극과 피로를 유발함
- 처음에는 에이전트를 도움을 기다리는 동료처럼 느껴 급히 답했으나, 이후 이런 의인화 편향을 줄임
- 그래도 여러 문제를 동시에 처리하는 부담과 식사 전 프롬프트를 하나 더 보내고 싶은 유혹은 남음
- Consider the chairmaker에서 다룬 것처럼 숙련된 작업 자체의 즐거움도 줄어듦
- 코드를 다듬고 설계를 찾으며 부품이 맞물리는 모습을 보는 일이 주던 명상적인 만족을 기계에 넘기게 됨
- 반대로 에이전트의 속도와 피드백 수용성, 지능은 즐거운 경험도 만듦
- 음성 에이전트용 하네스를 만들던 코딩 에이전트가 기존 테스트가 부족하다고 판단하고, Mac의 내장 음성 합성으로 제품을 직접 시험함
- 이후 다른 에이전트도 같은 방법을 사용했으나, 기법을 문서로 전달받았는지 독자적으로 발견했는지는 불분명함
- 너무 복잡하다고 거절한 설정 옵션이 다음 주에 필요해지는 일도 있었음
- 에이전트에 초안 PR을 만들게 한 뒤 검토하는 에이전트 PR이 일상적인 작업 방식이 됨
- 아직 검증 없이 신뢰할 수 없어 코드를 읽고 수동 테스트도 수행함
- 줄 단위 검토보다는 아키텍처와 큰 패턴, 접근법의 구조적 문제를 살핌
- 반복되는 문제를 CLAUDE.md 지침에 반영하거나, 에이전트가 스스로 테스트할 수 있도록 하네스를 개선함
- 에이전트 코드 리뷰는 반복적인 문제를 줄이는 데 유용함
- 생성 코드에서 반복되는 결함을 발견하면 리뷰 규칙으로 만들어 자동 탐지와 수정을 유도함
- 장황한 주석을 찾는 Claude-y comment detector를 만들었고, AI 리뷰가 직접 작성한 코드의 정확성 문제를 발견하기도 함
- 지인의 엔지니어링 팀에서는 동료들이 서로의 코드를 직접 검토하는 대신, 각자의 Claude에게 다른 Claude가 만든 코드를 검토하게 하는 일이 있었음
- 버그와 스타일 문제를 찾는 데는 도움이 되지만, 아키텍처를 설계하고 판단하는 능력은 부족해 사람의 리뷰를 대체하기 어렵다고 봄
- PR 검증 과정도 여전히 느림
- 자동완성은 여전히 좋지만 자신의 작업에서는 역할이 줄었으며, GitHub Copilot의 인라인 편집과 코드 모드는 에이전트 등장 이후 더 쓸모가 없어졌다고 느낌
- 일상적으로 사용한 Google 검색에서는 AI 요약이 결과의 첫째나 둘째 위치에 거의 항상 나타났음. 기존 검색을 써도 AI 답변을 먼저 접하는 일이 많아짐
- NPR RSS 주소를 잘못 알려주거나 “AI’ve”의 기원을 찾지 못하는 오류가 있었음
- 다만 일반 상위 검색 결과에서도 RSS 주소가 명확하지 않았고, Claude도 “AI’ve”를 찾지 못함
- 일상적인 정보 검색에는 대체로 유용함
- HP Reverb G2 사양, 들쭉날쭉한 AI 지능을 가리키는 “jagged”라는 용어, 한숨 이모지를 빠르게 찾음
- rel="nofollow" 사용법을 다시 확인하는 데도 활용함
- 상품 검색과 추천은 여전히 신뢰하기 어려움
- 고금리 저축계좌 검색 요약은 읽어도 Gemini에 자금 운용 조언을 맡기지는 않음
- Claude는 저가 VR 선택지 탐색과 KitchenAid 믹서용 윤활제의 기술적 이해에는 도움이 됐음
- 커피 테이블이나 소파베드 추천을 신뢰할지는 의문이며, ChatGPT 대화 속 광고에도 불편함을 느낌
- 술자리에서 떠올릴 법한 잡학 질문에는 계속 유용함
- 모호한 묘사만으로 @avadonye의 아슬아슬한 LEGO 조립 영상이나 도마뱀 모습의 미술 VTuber Mallow를 찾을 수 있음
- 다만 친구들과 추리하고 페르미 문제를 푸는 즐거움을 위해 일부러 검색하지 않기도 함
- 이미 알려진 개념을 배우는 데 LLM은 매우 유용한 교사였음
- Mistral을 해적 말투로 미세조정하는 과정을 단계별로 배움
- 무전으로 들은 상황을 바탕으로 응급의료 출동 대응을 연습함
- Dan MacKinlay를 통해 찾은 소크라테스식 학습 기법으로 음성 에이전트의 의미 기반 발화 종료 판단 방법을 탐색함
- 복잡한 법률 문서에 접근하는 일반적인 방법을 배우거나, 긴 코드 리뷰 뒤 이해도를 확인하는 퀴즈를 요청함
- Mumble도 몇 주 전 AGENTS.md에 비슷한 퀴즈 절차를 추가함
- AI의 인내심과 반복 연습, 즉각적인 피드백은 강점이지만 실제 학습을 보장하지는 않음
- Derek Muller의 What Everyone Gets Wrong About AI and Learning에 따르면, 학습에는 느리고 추론적인 유형 2 사고(Type 2 thinking) 가 필요함
- 사람은 힘든 사고를 피하려 하고, 튜터는 다시 사고하도록 이끌어야 함
- 그러나 일을 대신하도록 조정된 AI는 튜터로 행동하라는 요청 후에도 다시 요약 모드로 돌아가기 쉬움
- 지난해 가장 크게 우려했던 사실 정확성에 대한 걱정은 개인적인 사용 경험에서 상대적으로 줄어듦
- AI가 잘하는 것과 못하는 것을 구별하는 감각이 생겨 위험한 영역을 피하게 됐다고 봄. 예를 들어 디지털화가 부족한 1867년 문서 해석은 요청했지만 결과를 거의 신뢰하지 않음
- 모델 자체도 더 많은 질문에 믿을 만한 답을 할 만큼 개선됐다고 판단함
- 게임 Control의 결말 검색에서는 Gemini 3 기반 Google 요약이 간결하고 정확했던 반면, GPT-4o 계열로 추정한 Bing 결과는 후속작과 혼동함. 두 링크에는 결말 스포일러가 있음
- 문헌 검색은 회의적인 시각을 유지하면서도 LLM을 가장 먼저 찾는 용도가 됨
- 방대한 자료에서 어떤 전제든 뒷받침할 근거를 찾아줄 수 있다는 문제가 있음
- 정치적 편향과 경영 전략 조언의 편향, 모델 자체나 기업과 정부에 의한 세계관 주입을 우려함
- 그럼에도 개인 경험에서는 전통 검색보다 좋고 세밀한 자료를 찾는 데 훨씬 효과적이었음
- 자동차 터치스크린에 관한 조사에서는 관련 Georgia Tech 연구실 근무 경험이 있는데도 수개월간 Vi Bilägare의 실험 외의 연구를 찾기 어려웠음
- Claude의 인간의 지연시간 인식 조사는 자료와 그래프까지 제공한 유용한 사례임
- 최종적으로는 인간 전문가와 책을 더 신뢰함
- 자동차 터치스크린 조사는 해당 연구실 사람에게 질문하면서 진전됨
- The Psychology of Human-Computer Interaction과 Engineering Psychology and Human Performance의 오래된 판본도 구입함
- 다소 오래된 책이라도 이해 가능한 일관된 세계관을 제공해 연구의 기반이 됨
- 새로운 연구의 협업자로 AI를 쓰다가 오히려 연구가 더뎌진 경험이 있음
- Salesforce의 음성 연구에서 사용자 발화 종료를 판단하는 모델을 개발하며, 기초 대화 연구와 데이터셋을 찾는 데는 도움을 받음
- 동료는 AI가 주지 못한 맥락을 제공했고, 소크라테스식 대화로 설계하던 모델도 나중에 “더 나은 아키텍처가 있는가”라고 묻자 더 좋은 대안이 나옴
- 발화 차례와 끼어들기를 구분하는 학습 데이터 주석 문제로 며칠을 소비했지만, 동료와 한 번 제대로 논의한 뒤 문제가 단순해짐
- Navier–Stokes 문제 해결, 다른 밀레니엄 문제의 약한 형태 증명, 수백 건의 수학 결과 같은 성과와 일상적인 연구 협업은 구분함
- 이런 수학 성과를 내려면 에이전트가 서로의 결과를 반복 검토하는 데 많은 토큰을 써야 한다고 봄. Navier–Stokes 사례와 관련해서는 전력 비용만 수백만 달러 규모였을 것이라는 추정을 인용함. 전력 비용 추정
- 개인 작업에서는 답을 직접 생각하는 것보다 에이전트 응답을 검토하는 데 더 힘이 드는 “AI 안개” 상태에 빠짐
- AI 연구자가 등장할 것으로 보지만, 현재 자신의 복잡한 연구를 함께 구상할 동료로는 부족함
- 요약과 전사는 로컬 모델을 포함해 별다른 놀라움이 없을 만큼 잘 작동함
- OpenWhispr와 Handy로 컴퓨터에 받아쓰기를 하며, 특히 코딩 에이전트에 지시할 때 사용함
- 뛰어난 모델을 로컬에서 무료로 실행할 수 있으며, 주요 불만은 단축키가 불규칙하게 작동하는 등의 앱 버그임
- 회의 자동 기록 외에도 개인과 공공 기록에 활용할 수 있음
- 친구는 어린 시절 홈비디오를 전사하고 검색하는 로컬 파이프라인을 구축함
- Vikram Oberoi는 2024년에 뉴욕시 의회 회의를 자동 전사하고 탐색하는 사이트를 만듦
- 이런 작업은 Mac에서도 수행 가능함
- 받아쓰기를 넘어선 음성 대화는 아직 꾸준히 쓸 만큼 만족스럽지 않음
- 음성은 사람과 비슷한 에이전트와 소통하는 자연스러운 방식이어야 하지만, 현재 경험은 충분히 매끄럽거나 사적으로 느껴지지 않고 유용성도 부족함
- Salesforce 팀이 음성을 연구하는 이유도 여기에 있음
- 자신의 창작물과 업무 커뮤니케이션, 블로그에는 AI를 초안 작성이나 개요 구성에 사용하지 않음
- 회사가 원하는 것은 자신의 생각이며, 블로그 글쓰기는 즐기는 예술이자 연습하는 기술임
- 다만 에이전트가 직접 수행한 작업은 맥락을 갖고 있으므로 문서화 예외를 둠
- 자신이 설계했지만 실행하지 않은 실험 기록이나, 에이전트가 처음부터 만든 코드의 README를 작성하게 함
- AI 문서를 다른 사람에게 읽게 하는 것에도 불편함이 있어, 산문 작성 시 AI가 작성한 글임을 밝히도록 지시함
- 결과를 직접 다시 쓰거나 핵심 요약을 추가하는 경우가 많으며, 이것만으로 충분한지는 확신하지 못함
- AI 문장은 전개가 느리고 반복적이며 공허하다가 갑자기 지나치게 짧고 모호해지는 등 읽는 부담이 큼
- 많은 논문을 인용하고 요약한 뒤에도 종합 결과는 무의미할 수 있어, 자신의 이해 부족인지 그럴듯하지만 공허한 문장인지 구별하기 어려움
- 어려운 수학 문제 해결과 인간의 대화 차례 설명 능력 사이의 격차를 들쭉날쭉한 지능으로 이해함
- 적절한 단어 찾기에는 계속 유용함
- Google AI가 잘못된 표현인 “hawking off” 대신 “ceding”을 쓰도록 도움을 줌
- 편집자로서의 평가는 지난해보다 낮아짐
- 지원서 편집을 맡긴 지인들은 비판을 피하는 아첨성 반응이나, 이를 우회했을 때 나오는 진부하고 맥락 없는 조언에 미온적이었음
- 경험상 글이 약한 사람에게는 도움이 되지만 잘 쓰는 사람의 글은 평범하게 만들 수 있어 보임
- 올해는 자신의 목소리를 잃을까 우려해 AI 편집을 사용하지 않았으며, AI 특유의 문체 흔적도 여전하다고 느낌. 다만 눈에 띄는 사례만 보는 생존자 편향일 가능성은 열어 둠
- 이미지 생성은 뚜렷한 개인 용도를 찾지 못했고, 창작 기회를 평범한 결과를 만드는 기계에 넘긴다는 불편함 때문에 올해 사용을 중단함
- 가벼운 밈이나 “데이터센터가 더 필요하다”는 농담, 유용한 발표 자료는 즐겼음
- 그러나 신발 광고, 행사 포스터, 식당 메뉴, 상점과 e스포츠 팀 로고, HomeSense의 액자 그림, Walmart의 티셔츠까지 확산되며 인간의 예술을 대체하는 모습에는 거부감을 느낌
- AI 음악은 예상과 달리 일부를 계속 즐기고 있음
- San Juan 노래는 사람의 커버곡과 Mila Kunis, Charlie Puth, Jennifer Love Hewitt의 립싱크 영상으로 이어짐
- AI is normal technology?, LGTM (Looks Good to Me), The Simulation’s Ending을 즐겼고, OMG! We’ve found other agents의 댓글에서는 이런 음악을 “AI Doompop”이라고 부름
- 기준은 AI가 인간의 창의성을 비추는 렌즈인지, 대체물인지에 있음
- Eiden XII가 매주 비슷한 커버곡을 올리거나 steel coils 스타일 교육 콘텐츠의 복제물이 나오자 흥미가 식음
- 합성된 가수가 “talk me out of dying”을 부르고 누군가 재생 수익을 얻는 구조에는 조작적인 느낌을 받음
- Doompop도 몇 곡의 창작을 넘어 매일 게시하는 방식이 되자 더 듣지 않음
- AI 영상은 지난해보다 훨씬 자주 접하게 됨
- 지난해에는 어머니가 본 고래 청소 영상 정도였지만, 이제는 Sixt의 말과 사람을 합친 광고 같은 사례를 자주 봄
- 가짜 Edna Mode 닮은꼴 영상과 제2차 세계대전 역사 영상에 속았고, 아내는 수면 보조 콘텐츠로 홍보된 Adventure Time AI 요약에 속음
- 이런 콘텐츠의 조회수와 광고 수익 추구에 강한 거부감을 느낌
- Corridor Digital의 비판처럼 플랫폼 광고 수익을 조금씩 얻기 위한 대량 생산으로 봄
- 시크릿 모드에서 AI 역사 영상의 추천 목록을 살펴본 한 사례에서는 33개 중 25개, 약 75% 가 저품질 AI 콘텐츠였음
- 코딩 에이전트가 자신의 능력을 확장하듯 AI도 예술가의 능력을 높이는 도구가 될 수 있다고 봄
- 예술로 생계를 유지하지 않는 처지임을 인정하면서도, AI가 더 빨리 노래를 만들 수 있다는 이유로 직접 낙서하거나 피아노를 연주하는 즐거움이 사라지지는 않음
- 에이전트 코딩을 처음 시도한 지 12개월, Claude Code가 보험 비교 도구를 한 번에 만들어 감탄한 지 10개월 만에 AI가 자신의 코드 90% 이상을 작성하게 됨
- 15개월 전의 국제수학올림피아드 성과와 2개월 전의 Navier–Stokes 성과를 비교하며 변화의 속도를 실감함
- 에이전트는 오래 미뤘던 개인 프로젝트와 공동체 도구를 현실화하는 데 도움을 줌
- 친구들은 서로 소통할 도구를 만들었음
- 2020년에 시작한 오디오 압축 시각화 도구를 정리하고 공유할 수 있었음
- 오래 원했던 오픈소스 변경을 마무리하고, 앱 개발을 시작하며, 기존 소프트웨어의 큰 변경과 새로운 운영체제를 빠르게 탐색함
- AI가 품질 낮은 기업 소프트웨어를 내놓거나 수학계에 충격을 주는 동시에, 가족이 자기 소프트웨어를 만들고 친구들이 관계를 이어 가며 새로운 것을 배우는 데도 쓰임
- 앞으로도 사람을 돕는 도구로 AI를 사용하고자 함
- Claude Pro 월 17달러, GitHub Copilot Pro 월 10달러를 구독 중임
- 약 한 달 전 OpenAI 구독을 취소함
- 개인 사용의 대부분이 Claude Code로 옮겨 갔고, 일반적인 질문도 ChatGPT 대신 Claude에 하게 됨
- GitHub Copilot Pro는 자동완성 용도로만 사용함