← 목록으로

우리가 만드는 소프트웨어에 더 큰 야심을 가져야 한다

요약
  • AI 기술로 개발 비용이 낮아짐에 따라 대형 프로젝트와 초개인화된 도구 제작이 모두 가능해졌습니다.
  • 개발자는 저품질 결과물에 안주하지 말고 철저한 검증과 성능 측정을 통해 소프트웨어의 품질을 높이는 데 집중해야 합니다.
  • pgrust 사례는 이러한 검증 과정이 실제 소프트웨어의 버그를 발견하고 개선하는 데 중요한 가치가 있음을 보여줍니다.
  • AI로 개발 비용이 낮아지면서, 혼자 감당하기 어려웠던 대형 프로젝트뿐 아니라 시간 대비 가치가 없어 포기했던 개인용 도구도 만들 수 있게 됨
  • Dan Luu는 정규식 엔진과 ripgrep 포크, Rust 개발 도구를 개인 환경에서 작동하는 수준까지 몇 시간의 직접 투입으로 구현했으며, 과거라면 1년 이상 걸렸을 작업으로 추정
  • 한두 시간 즐길 게임을 만드는 데 10~20시간 대신 5분을 쓴다면, 수익성이나 대중적 수요가 없는 아이디어도 실행할 이유가 생김
  • 저품질 AI 프로젝트가 많다고 같은 수준에 머물 필요는 없으며, 충분히 검증하는 재작성 프로젝트는 원본 소프트웨어의 버그를 발견하는 가치도 남길 수 있음
  • 모델의 구현 능력이 발전해도 검증 능력이 함께 따라오는 것은 아니므로, 결과를 판별할 전문성과 테스트 구조를 갖추면서 도전 범위를 넓히는 것이 중요함
더 큰 프로젝트와 더 작은 개인용 도구
  • 여기서 야심은 이전보다 더 많은 일을 한다는 넓은 뜻임
    • 과거에는 현실적으로 감당하기 어려웠던 대형 프로젝트를 만드는 일과, 만들 수는 있었지만 시간 대비 가치가 없어 포기했던 초개인화 도구를 만드는 일을 모두 포함함
    • 두 경우 모두 소프트웨어 제작이 훨씬 쉬워졌다는 같은 변화에서 출발함
  • “더 야심 차야 한다”는 의무보다는 “더 야심 찰 수 있다”는 가능성에 무게가 있음. 중요한 변화는 도구의 능력이 발전하면서 할 수 있는 일이 늘었다는 점임
  • 소비자 입장에서는 작동하지 않는 저품질 소프트웨어와 부실한 벤치마크로 속도를 과장하는 제품을 경계해야 함
    • 느린 소프트웨어를 빠르다고 홍보하는 문제와 최근 사례가 여기에 해당함
  • 제작자 입장에서는 다른 사람이 저품질 결과물을 쏟아낸다는 이유로 같은 수준에 머물 필요가 없음. 테스트와 성능 측정을 제대로 하면 이전에는 엄두를 내지 못했던 프로젝트도 실용적인 수준까지 만들 수 있음
pgrust의 검증이 Postgres에도 남기는 가치
  • Michael Malis의 pgrust는 성능을 핵심 가치로 내세우지만, 검증 과정에서도 Postgres의 실제 문제를 발견함
    • 수치 버그로 정상적인 SP-GiST 연산이 실패함
    • 포맷 캐시 버그로 JSONPath에서 잘못된 결과가 나옴
    • pgcrypto 버그로 후속 연산이 실패함
    • 사전 로더에서 여러 메모리 안전성 문제를 발견함
    • money 오버플로 버그도 발견함
  • 사전 로더 문제는 버그로 인정되지 않았다는 반론이 있음. 해당 Postgres 사안에 대한 판단은 유보하지만, 이런 문제까지 제거하면 실제 버그를 찾기 쉬워진다는 개발 경험이 있음
  • 이러한 발견이 pgrust의 무결함을 뜻하지는 않지만, 상당한 검증이 이뤄지고 있다는 근거는 됨
    • 프로젝트 자체가 성공하지 못하더라도 수정된 Postgres 버그는 지속적인 개선으로 남음
    • pgrust에서 입증한 최적화가 Postgres나 Clickhouse 등에 들어갈 가능성도 있지만, 버그 신고와 수정만큼 직접적인 경로는 아님
  • AI를 이용한 재작성 프로젝트에 저품질 사례가 많고 모두 조사할 시간도 없으므로, pgrust를 의심하는 반응 자체는 이해할 수 있음. 다만 이 사례에 대한 신뢰는 Malis의 작업 방식과 신중한 발언에 기반함
pgrust의 준비 상태와 벤치마크 논란
  • Malis는 pgrust Discord에서 2026년 9월 17일 기준으로 주력 프로덕션 데이터베이스 사용을 권하지 않음
    • 한 회사의 프로덕션 배포를 준비 중이었지만, 해당 회사는 일반적인 사용자보다 데이터베이스 중단을 더 잘 감수할 수 있었음
    • 신뢰성에 대한 경험적 근거는 실제 운영을 시작해야 확보할 수 있다고 봄
  • 초안 작성 뒤 pgrust의 Clickhouse 벤치마크 논란이 발생함
    • Dan Luu가 살펴본 범위에서는 악의적인 부정행위라는 비난은 사실이 아닌 것으로 보였음
    • 미리보기 버전을 벤치마크에 제출하기에는 너무 이르렀다는 점은 Malis도 인정함
    • 사실관계와 무관하게 이런 논란이 오래 따라다닐 수 있다는 우려가 있음. Ed Zitron의 예측 기록과 미래학자들의 예측에서도 확인 없이 잘못된 평가가 반복되는 문제를 볼 수 있음
  • 0.4-beta의 새 쿼리 엔진은 일부 작업에서 매우 빠르지만, 다른 작업에서는 성능이 저하되고 복잡한 쿼리 일부를 지원하지 못함
    • 대규모 OLAP형 작업에 집중해 최적화하면서 원래 매우 빨랐던 쿼리에 큰 성능 퇴행이 생김
    • 일반 공개 전에 Postgres보다 느리거나 오류가 나는 쿼리를 찾아 수정하려 하지만, 가능한 쿼리 공간이 매우 넓어 어려움
  • 이런 공개적인 한계 인정은 데이터베이스 업계의 성능 과장 사례와 대비됨
    • MongoDB는 Kyle Kingsbury가 데이터 손상을 반복적으로 입증했는데도 정확성 문제를 수년간 부인함
    • 다른 스타트업에서는 직원이 실제 처리량과 홍보 수치가 여러 자릿수 차이 난다는 사실을 발견했지만, 창업자는 장차 달성할 수치라는 이유로 수정을 거부함
    • 그 회사는 수년 뒤 홍보 수치를 10분의 1로 낮췄지만, 그마저도 인위적인 작업 부하에서만 달성할 수 있었음
개인 개발 환경의 병목을 직접 줄이기
  • OpenAI가 5.3-Codex-Spark처럼 빠르지만 품질이 낮은 모델뿐 아니라 최상위 모델에도 Cerebras를 사용할 것이라는 소식을 계기로, 모델이 10~100배 빨라졌을 때의 병목을 살펴봄
    • Ripgrep 검색, Rust 컴파일, 시스템 호출과 파일시스템 오버헤드가 주요 대상이었음
  • 개인 프로젝트에서는 다음과 같은 개선을 구현함
    • 정규식 엔진: 관심 있는 특정 작업에 맞게 조정해 다른 범용 라이브러리보다 빠르게 만들 수 있음
    • ripgrep 포크: 정규식 엔진의 네이티브 코드 컴파일러를 이용해 개인 Codex 검색 작업을 가속함
    • Rust 개발 도구: 개인 프로젝트의 콜드 빌드는 크게, 웜 빌드는 중간 정도로 개선했으며, 컴파일러 프런트엔드 포크를 피하려는 조건이 개선 폭을 제한함
  • 검색에는 텍스트 인덱스가 더 나은 해법이지만, 이미 텍스트 인덱싱 작업을 해본 상황에서 최적의 해법보다는 재미를 위한 프로젝트로 진행함
  • 개발 환경을 Mac에서 Linux로 옮기는 것만으로도 시스템 호출과 파일시스템 오버헤드가 많이 줄었음
    • 에이전트가 작은 파일 연산을 대량으로 수행하면 여전히 추가 개선 여지가 큼
    • 개인 머신이 파일 연산을 기다리는 경우가 흔하며, 표준 운영체제 파일시스템 인터페이스는 현대적인 디스크 성능을 전제로 설계되지 않았음
  • 정규식, 문자열 매칭 알고리듬, 컴파일러와 인터프리터에 전문성이 없는 개인에게 과거에는 1년 이상 걸렸을 법한 작업이 몇 시간의 직접 투입으로 줄어듦
    • 이는 어디까지나 개인 환경에서 작동하는 수준임
    • 유용한 제품이나 공개 오픈소스 수준으로 끌어올리려면 훨씬 많은 작업이 필요함
  • 성능 비교는 호기심을 충족하는 빠른 확인 수준이며, 언급한 모든 프로젝트에 대해 포괄적이고 엄밀한 벤치마크를 수행한 것은 아님
보드게임 AI에서 확인한 모델 능력의 변화
  • Azul AI는 GPT-5.1/5.2를 사용해, 관련 AI 지식 없이 직접 투입 시간 약 5시간 만에 같은 시간 제한에서 사람을 넘어서는 수준에 도달함
    • 약 20시간 뒤에는 당시 가장 강한 AI로 보이는 수준에 도달했으며, Board Game Arena 부정행위에 쓰인 AI보다 사람을 상대로 더 강했음
  • 이후 Gabriel Cangussu는 훨씬 적은 시간을 들인 것으로 보이면서도 기존 AI를 압도하는 AI를 만듦
    • 대화에서 확인한 중요한 차이는 Fable 5.1과 Opus 5.5의 보드게임 AI 이해도였음
  • GPT-5.1/5.2를 사용할 때는 제안 대부분이 잘못됐고, 상당한 방향 수정이 필요했음
    • 논문이나 코드베이스를 읽고 관련 기법을 구현하도록 해도 실패함
    • 사람이 논문을 읽고 기법 이름을 지정해도, 실제 기법이 아닌 겉모습만 비슷한 구현을 만든 뒤 적용했다고 답하는 경우가 많았음
    • 전문 지식이 없으면 모델의 작업을 확인하기 위해 필요한 개념부터 배워야 하므로 검증에 시간이 많이 들었음
  • Fable 5를 직접 사용한 경험과 Cangussu의 Fable 5.1/Opus 5.5 경험에서는, 관련 자료를 찾아 읽고 기법을 구현하는 능력이 발전한 것으로 보임
  • 능력 향상은 온라인 게임 부정행위에도 연결됨
    • 이전의 부정행위 증가 전망과 관련해, 전해 들은 바로는 BGA의 지난 시즌 Azul 상위 10명 중 1위를 포함한 3명이 부정행위자였음
    • BGA의 Elo 순위 알고리듬, 시즌 구조, 담합과 부정행위 대응 정책은 부실하다는 비판을 받으며, 문제가 다른 게임으로 확산할 가능성도 우려됨
    • 이는 AI 피해 중에서는 비교적 경미하지만, 사람들이 새롭게 만들 수 있는 소프트웨어의 범위가 넓어졌음을 보여주는 부정적 사례임
평가 과제는 어려워지고 검증은 여전히 남음
  • GPT-5.6 Sol의 zstd 구현으로 검증과 테스트 기법을 비교한 소규모 평가를 GPT-6 Astra로 다시 수행하자, 모델 발전으로 기존 과제가 너무 쉬워짐
  • GPT-6 Astra는 성능을 크게 떨어뜨렸던 TDD 조건을 포함해 모든 조건에서 등록된 테스트 전체를 통과하는 비율이 99% 이상이었음
    • zstd 구현 비용도 약 1달러로 낮아짐
    • 이는 등록된 테스트 통과율이며, 구현의 완전한 정확성을 입증한 수치는 아님
  • 새 평가 대상으로 GPT-5.6 Sol이 효과적으로 수행하지 못했던 IMAP RFC와 다수 형식을 읽고 쓰는 Pandoc을 선택함
    • Pandoc은 HTML, Office 문서, Markdown 계열, EPUB, LaTeX, JSON/XML 등 폭넓은 입출력 형식을 다루며, native 형식은 AST를 직렬화한 표현임
  • 새 모델이 한 번에 해결하는 작업은 늘었지만, “모든 것이 작동하고 소프트웨어 문제가 해결됐다”는 경험과는 거리가 있음
    • 생산성과 작업 속도는 높아졌지만, 더 어려운 작업을 선택하면서 오히려 사람의 개입 없이 잘 작동하는 상태에서는 멀어짐
    • 개인 경험에서는 구현할 수 있는 범위와 상당한 도움 없이 검증할 수 있는 범위 사이의 격차가 커짐
  • 공개 평가는 모델에 이미 쉬운 과제보다 사람의 안내가 여전히 필요한 과제에서의 능력을 알고 싶은 사용자에게는 유용성이 제한됨
  • 프로그래밍 역량이 영원히 중요하다는 미래 예측은 아님. 다만 현재는 모델이 대체하는 기술을 가진 사람이 그 기술 없이 모델을 쓰는 사람보다 훨씬 효과적으로 일할 수 있음
    • Max Bittker의 비유처럼 모델은 그럴듯한 모조품을 만드는 데 능숙하며, 성능이 좋아질수록 진짜와 모조품을 구별하는 데 필요한 전문성도 높아짐
반론: 많은 사람에게는 야심을 조절하는 일이 필요함
  • Yossi Kreinin은 많은 사람이 AI로 만드는 소프트웨어의 야심을 줄이지 않으면 크게 실패할 수 있다고 경고함
    • 성공과 실패 기준이 명확하지 않은 문제는 에이전트 반복 실행에 잘 맞지 않음
    • 기준이 있어도, 내부를 이해하지 못하고 제약만 가할 수 있는 거대한 블랙박스를 추론하는 일은 어려움
    • 마이크로서비스처럼 일부에게는 필요하고 효과적이지만, 다수는 필요성도 낮고 잘 활용하지도 못할 수 있음
  • AI를 이용한 성능 최적화 역시 시험한 사례에 과적합된 복잡한 코드를 만들 위험이 있음
    • 다른 중요한 작업에서는 성능이 개선되지 않거나, 후속 변경 때 유지보수가 어려워질 수 있음
    • 시스템 분해, 최적화 대상 선택, 올바른 벤치마크를 이해하는 경우와 관리자가 무작위 코드 영역을 AI로 빠르게 만들라고 압박하는 경우는 다름
  • 이에 대응하려면 모든 일을 같은 비율로 가속할 수 있다는 전제를 버려야 함
    • AI 생산성을 단일 배수로 말하는 문제처럼, 어떤 일은 100만 배 이상 빨라질 수 있지만 어떤 일은 전혀 빨라지지 않음
    • 5년 전과 똑같은 작업을 AI로 수행하기만 하면 암달의 법칙 때문에 전체 속도 개선은 제한됨
    • 무엇을 가속할지 선택할 수 있다면, 과거에는 너무 비싸서 하지 못했던 작업이 생산적인 선택지가 될 수 있음
모호한 문제에도 자체 검증 구조 만들기
  • Guards of Atlantis 2 구현은 불명확한 명세에서도 부분적인 자체 검증을 구축한 사례임
    • 공식 규칙에는 모호하거나 충돌하는 영어 문장이 많고, 설계자조차 규칙의 의미에 대한 해석을 바꾼 적이 있음
    • 단순히 규칙을 입력해 올바른 구현을 요구하는 방식으로는 AI가 별 도움이 되지 않지만, 정리된 명세가 있으면 구현은 빨라짐
  • 서로 일치하지 않는 여러 규칙 설명 사이에 일관성 검사를 구성해 상당히 정확한 규칙 집합을 얻음
    • 더 많은 사람의 노력과 덜 체계적인 방식으로 만든 다른 구현에 가까운 수준까지 도달함
    • 이후 다른 구현과 비교해 작동하는 규칙 집합을 완성함
  • 수작업 중심 접근보다 토큰은 많이 들었지만, GPT-5.1/5.2를 쓰는 월 200달러 OpenAI 구독의 한두 달분으로 해결함
    • 직접 앉아 일관되고 정확한 명세를 작성하는 데 드는 시간 비용보다 낮았음
  • 퍼징과 속성 기반 테스트에서도 비슷한 경험이 있음
    • 적용하기 어렵다는 말을 들은 여러 분야에 실제로 적용했을 때 잘 작동했음
    • 적용에 추가 작업은 필요하지만, 개인 경험에서는 전통적인 단위 테스트 작성보다 효율적이고 효과적이었음
  • 현실에서는 이런 검증을 충분히 하지 않는 경우가 많음
    • 대형 AI 연구소의 웹 채팅을 열고 1분 안에 두 자릿수의 버그를 만난 경험도 있음
    • 그렇다고 다른 사람이 간신히 작동하는 결과물을 대량 생산하는 방식을 따라야 하는 것은 아님
단기 효용이 분명한 도구에 집중하기
  • 개인용 도구는 만들기 쉬워졌지만, 도구를 위한 도구에 과도하게 투자할 수 있음
    • Steve Yegge의 Gas Town 사례에서는 생산성을 크게 홍보했지만, 다음 프레임워크를 만들 때 Gas Town 외에는 성공적으로 만든 것이 없었다고 밝힘
    • Ralph Loops 비교 경험에서는 매 턴마다 컨텍스트를 비우는 방식보다, 보통의 반복 실행에서 필요할 때만 컨텍스트를 비우는 방식이 나았음
  • 모델과 하네스(harness) 가 빠르게 발전하므로 어떤 도구를 만드는 것이 유리한지도 빠르게 바뀜
    • 3개월 뒤에는 차선책이 되거나 쓸모없어질 도구에 많은 시간을 들일 이유는 적음
    • GPT-5.6 Sol 출시 이후 유용했던 Codex 메모리 누수 감지 및 재시작 도구도 OpenAI가 누수를 고치면 가치가 사라질 것이라는 전제 아래 사용함
  • 에이전트가 만든 Rust 인터프리터도 토큰 예산 때문에 가능한 최적화를 모두 적용하지 못함
    • 업데이트를 쉽게 받기 위해 Rust 프런트엔드를 수정하지 않음
    • 프런트엔드를 고치면 더 빨라질 수 있지만, 호환 가능한 컴파일러 포크를 유지할 토큰 예산은 없음
  • OpenAI는 Cerebras 접근을 확보하고 Anthropic의 접근을 막는 데 100억 달러 이상을 투입함
    • 하지만 코딩 작업에서는 Rust 컴파일 같은 도구 실행 시간 때문에 Anthropic 대비 실제 속도 향상이 크지 않은 경우가 있음
    • 이런 투자 규모를 고려하면 AI 연구소가 관련 도구도 외부 개인보다 더 잘 최적화할 것으로 예상됨
    • 다만 비코딩 매출이 우선이거나 내부 사용량에서 더 큰 병목이 많다면 우선순위가 낮을 수 있으며, 실제 최적화 계획이 확인된 것은 아님
한두 시간 즐길 게임과 일회성 데이터 분석
  • 대중적 수요나 수익성이 부족해도 자신이 하고 싶은 게임을 만들 수 있게 됨
    • 1990년대에 읽은 David Gerrold의 Star Wolf) 소설 속 잠수함전 같은 전투를 구현해 한두 시간 즐김
    • 10~20시간을 들여 만들 생각은 없었지만, 직접 투입이 약 5분이라면 시도할 만했음
  • 친구들과 대면으로 만나지 못할 때 함께 하려고 Scout와 같은 규칙의 게임과 Guards of Atlantis 2도 구현함
    • 직접 손으로 구현할 정도의 동기는 없었지만, LLM을 활용해서는 만들 수 있었음
  • 프로그래밍 기술과 구현 시간이 병목이 아니게 되면서, 더 넓은 이용자를 겨냥한 흥미롭고 창의적인 게임도 많이 만들어지고 있음
  • 데이터 분석 역시 개인 경험에서 생산성 향상이 매우 큰 분야이며, 과거라면 하지 않았을 프로젝트를 다수 수행할 수 있게 됨
매우 까다로운 개인 요구를 충족하는 Neovim 도구
  • Peter Geoghegan은 Fable로 자신만의 코드 서식 요구를 만족하는 Neovim Lua 함수를 만듦
    • Postgres의 pgindent는 bsd_indent 포크이며, clang-format으로 비슷하게 맞추는 것만으로는 충분하지 않음
    • pgindent와 정확히 일치하지 않는 서식을 커밋하면 CI가 실패하므로, 편리한 편집 경험과 정확한 프로젝트 서식을 동시에 원했음
  • 함수는 여러 단계의 서식 처리를 수행함
    • 먼저 clang-format/clangd를 적용하고, 이어서 pgindent를 적용함
    • clang-format은 pgindent가 놓치는 일부 사례를 처리하지만, 수정하지 않은 코드에는 적용하고 싶지 않음
    • 반면 pgindent는 C 파일 전체만 처리할 수 있어, 선택한 줄 범위만 편집하려는 요구와 충돌함
  • tree-sitter로 임시 파일에서 실제 작업 버퍼에 복사할 C 코드 범위를 판별함
    • 처음 선택한 줄 범위가 관련 C AST 요소와 정확히 대응하지 않으며, 선택 영역이 코드 블록을 걸치는 여러 예외도 처리해야 함
  • pgindent가 타입을 식별하는 데 쓰는 typedef 파일의 최신성 문제도 처리함
    • 매번 Postgres 바이너리 전체에 objdump를 실행하면 지연이 커짐
    • 대신 clangd에서 해당 파일의 추가 typedef를 동적으로 얻어 방금 만든 구조체도 반영함
  • Geoghegan은 Lua를 모르고 내부 동작도 대략적으로만 이해하지만, 도구는 완벽하게 작동하는 것으로 보이며 지연 시간도 만족스러웠음
    • 향후 bsd_indent 포크의 서식 변경에도 계속 작동할 것으로 예상함
    • SaaS 종말론에는 회의적이지만, 가치에 비해 사람이 작성하거나 유지하기에는 지나치게 번거로운 소프트웨어를 LLM이 실용적으로 만들고 있다는 점은 인정함
정형 검증과 AI 연구소 밖에서 가능한 규모
  • Malis는 pgrust 일부 검증에 Kani를 쓰다가, Kani로 처리하기에는 너무 복잡한 대상을 검증하기 위해 Lean 으로 전환함
  • LLM 기반 증명에서 ACL2 같은 대안보다 Lean에 관심이 모이는 이유는 열린 질문으로 남음
    • 기존 정리 증명기 비교를 갱신하거나, 언어별 평가와 비슷한 증명기 평가를 수행할 여지가 있음
  • AI 연구소 내부에서는 더 큰 규모의 사례도 나옴
    • Anthropic의 7명 팀은 5개월 만에 GitHub 내부 대체 도구 Scion, 코드 리뷰 도구 Antique, 관련 시스템 약 6개를 만들고 이전까지 완료함
  • 이런 사례는 가까운 미래의 업계 방향을 보여줌. 다만 사실상 무제한인 토큰을 사용하고, 같은 조건에서 만든 기반 도구에 의존하는 프로젝트가 제한된 예산으로 현재 가능한 일을 그대로 보여주지는 않음
  • pgrust와 개인 여가 프로젝트가 지금 일반적인 자원으로 가능한 일을 더 잘 드러냄
    • David Turner는 찾아본 다른 도구보다 자신의 환경에서 잘 작동하는 팟캐스트 건너뛰기 도구를 만듦
    • Dennis Snell의 여가 프로젝트도 같은 범주의 사례임
    • 핵심은 남들이 만든 저품질 소프트웨어의 양이 아니라, 자신이 검증할 수 있는 방식으로 이전에는 하지 못했던 일을 실제로 만드는 데 있음
그냥 목록으로
원문 보기 ↗