← 목록으로
지난 소식
AI가 코딩을 해결했다면, 왜 내 소프트웨어는 여전히 그대로일까? [영상]
요약
- Jonathan Blow는 AI가 코드 생성 속도는 빠르지만 복잡한 시스템 설계와 품질 개선에는 한계가 있다고 지적했습니다.
- 그는 소프트웨어 산업이 기술 부채와 복잡성으로 인해 신뢰성을 잃고 있으며, 단순한 생산성 향상보다 설계 의도 보존과 실제 제품의 품질 검증이 중요하다고 강조했습니다.
- Jonathan Blow는 AI의 코드 생성 속도와 저렴한 비용은 인정하지만, 복잡한 소프트웨어의 품질과 사용자 경험이 크게 개선됐다는 증거는 보지 못했다고 평가함
- 좋은 프로그래밍의 핵심은 코드 작성량이 아니라 시스템 전체의 제약과 상호작용을 이해하고 유지하는 판단력이며, 현재 LLM은 이를 충분히 엄밀하게 수행하지 못한다고 봄
- 소프트웨어 산업은 오래된 설계 위에 계층과 기능을 계속 쌓으면서 복잡성과 변경 비용을 키워왔으며, AI가 같은 문제에 더 많은 코드를 생성하면 이 흐름을 악화시킬 수 있음
- 짧은 일회성 자동화, 단순한 웹페이지 제작, 취약점 탐색에서는 AI의 실용적 가치가 있지만, 이를 대규모 시스템 설계 능력으로 확대해 해석해서는 안 된다고 봄
- 개선을 위해서는 설계 이유의 보존과 기술 부채 상환이 필요하며, AI 생산성도 생성한 코드량이 아니라 실제 제품의 기능과 품질 향상으로 검증해야 함
소프트웨어 공학은 결과로 검증돼야 함
- Blow가 2019년부터 제기한 문제는 소프트웨어가 복잡해질수록 신뢰성을 잃고 있다는 것임
- 데이터 유출과 성능 문제뿐 아니라 웹페이지의 버튼조차 예측 가능하게 작동하지 않는 실패가 일상화됐다고 봄
- 실패가 너무 흔해 사용자가 이를 소프트웨어의 당연한 특성으로 받아들이는 상태를 비판함
- 객체 지향 프로그래밍, 함수형 프로그래밍 등 특정 패러다임을 좋은 엔지니어의 자격처럼 취급하는 태도와 실제 결과 사이의 괴리를 지적함
- 공학은 현실의 제약을 이해하고 원하는 결과를 만들어내는 일이며, 원칙의 우수성만 주장한다고 실패한 결과가 정당화되지는 않음
- 교량 같은 전통적 공학에는 책임과 안전에 대한 신중함이 축적돼 있지만, 상용 소프트웨어는 항공우주 분야와 달리 이런 문화가 충분히 자리 잡지 못했다고 봄
- 원인은 단일하지 않으며, 과거에도 무능한 프로그래머가 있었고 전체 추세와 반대되는 사례도 함께 존재함
복잡성 증가와 경험의 희석
- 과거에는 하드웨어와 소프트웨어가 모두 단순해 새로 합류한 개발자가 시스템 전체를 파악하기가 상대적으로 쉬웠음
- 코드의 분기 등을 도형으로 표시하는 순서도가 실용적인 설계 도구였다는 점에서 당시 규모를 짐작할 수 있음
- 오늘날 고도화된 게임은 Blow가 아는 가장 복잡한 소프트웨어에 속하며, 의료나 로켓 소프트웨어의 중요성과 복잡성은 별개라고 봄
- 재미를 추구하는 게임의 특성이 전통적인 소프트웨어 공학과 충돌한다고도 보지만, 구체적인 논의로 이어가지는 않음
- 산업의 빠른 성장은 경험이 적은 개발자의 비중을 높임
- 매년 인원이 두 배가 되는 가상의 분야라면 절반은 경력 0년, 4분의 1은 1년이며, 평균 경력은 약 1년으로 수렴함
- 실제 산업이 매년 두 배 성장했다는 통계가 아니라, 성장률과 경험 분포의 관계를 설명하기 위한 예시임
- Blow는 가정에서의 프로그래밍과 UC Berkeley의 컴퓨터 과학 교육을 거쳤어도 실제 어려운 문제를 해결하면서 모르는 것이 많다는 사실을 깨달았으며, 졸업 후 5~6년의 실무 경험이 역량을 한 단계 높였다고 회고함
- 설계의 역사와 의도도 인력 교체와 세대 변화 속에서 사라짐
- 회사에서 오래 근무한 사람이 특정 결정의 이유를 기억하듯, Unix 구현 경쟁이나 초기 웹 논의를 직접 경험한 사람은 현재 구조가 형성된 맥락을 알고 있음
- 초기 웹은 오늘날의 용도를 전제로 설계되지 않았으며, 그 맥락을 모르면 현재 기술을 당연하거나 이상적인 것으로 오해하기 쉬움
- Blow 자신도 1970년대 운영체제의 맥락을 직접 경험하지 못했다는 한계를 인정함
Unix의 원래 목표와 달라진 하드웨어
- Unix의 자원을 파일처럼 다루는 인터페이스는 관리자와 프로그램이 같은 방식으로 정보에 접근하게 해 단순하고 빠르게 작업하려는 목적이 있었음
- 시간이 흐르며 복잡성이 크게 증가해, 원래의 단순성 목표는 사라졌다고 평가함
- 단일 CPU를 여러 프로그램이 나눠 쓰던 시분할 설계는 당시에는 합리적이었지만, 현대의 병렬 하드웨어에 그대로 적용할 필요가 있는지 질문함
- 오래된 비밀번호 공격 일화는 실행 시간에서 정보가 새는 문제를 보여줌
- 입력 비밀번호를 메모리 페이지 경계에 걸치게 배치하면, 비교가 페이지 폴트까지 진행됐는지 걸린 시간으로 알아낼 수 있음
- 이를 이용해 앞부분이 맞았는지 확인하면서 문자를 하나씩 추측할 수 있음
- 이후 비밀번호 처리와 비교 방식은 더 정교해졌지만, 캐시 등 공유 자원을 이용하는 공격도 더 미묘해졌음
- 다만 Blow는 해당 일화의 기록을 다시 찾지 못했으며, 자신은 보안 전문가가 아니라고 밝힘
- 일반적인 게임용 PC에도 주요 CPU 코어가 8~16개 있는 상황이라면, 운영체제에 하나를 할당하고 커널을 격리한 채 비동기적으로 통신하는 설계를 생각해볼 수 있다고 봄
- 이는 현재 방식의 부분 수정이 아니라 커널과 통신하는 방식 전체를 바꾸는 구상임
- 실제로 이런 재설계를 추진할 동기는 부족하다고 평가함
쌓이는 계층과 굳어지는 시스템
- 소프트웨어는 커질수록 변경해야 할 연결 지점이 늘어나고, 초기 설계가 점점 굳어짐
- 구성 요소의 결합을 줄일 수는 있지만, 서로 협력해야 하는 시스템에서 의존성을 완전히 없앨 수는 없음
- 기존 예외 명령 기반 커널 호출을 중간 계층으로 연결해 다른 구조를 흉내 낼 수는 있어도, 근본적인 재설계와 같지는 않으며 성능 문제도 생길 수 있음
- 초기 Linux는 상대적으로 작아 큰 변경이 가능했지만, 지금은 근본 구조의 변경이 매우 어려워졌다고 봄
- 새로 참여한 개발자가 기반 설계를 바꾸기보다 계층이나 프레임워크를 추가하기 쉬운 환경임
- 파일시스템에는 실질적 개선도 있었음
- 비정상 종료 시 데이터 손실, 재부팅 후 약 15분의 복구 대기 같은 문제가 줄어듦
- ReiserFS 같은 독자적 파일시스템 시도와 개발자의 수감 사례를 짚으며, 이런 기반 기술 개발 자체가 드물다고 회고함
- 반면 JavaScript 프레임워크는 유행을 따라 채택됐다가 폐기되는 반복 작업의 사례로 비판하며, Angular JS를 예로 듦
- 단순성과 이해 가능성을 추구한 Alpine Linux에서도 긴 잘못된 비밀번호로 높은 권한을 얻는 문제가 발견됐다고 함
- Blow는 원인을 직접 살펴보지 않았다고 밝혔으며, 구체적인 취약점 메커니즘은 확정하지 않음
- 더 나은 새 운영체제가 돌파구일 수 있지만, 소비자용 대체재가 되기까지는 오랜 시간이 필요함
- 가상 머신이나 호환 계층으로 기존 프로그램을 실행하는 방식을 생각할 수 있음
- Linux 기반 Steam Deck에서 Windows 게임을 실행하는 Valve의 Proton은 호환성의 실현 가능성을 보여주는 사례임
- 다만 Blow는 Wine과 Proton의 정확한 관계나 당시 Wine의 품질은 확신하지 않음
AI의 강점은 저렴하고 빠른 탐색
- Blow는 현재 AI가 생성하는 코드의 품질만 놓고 보면 일반적인 개발자 급여와 속도로는 채용하기 어려운 경우가 많지만, 매우 빠르고 저렴하다는 점이 가치를 만든다고 평가함
- AI를 마법 같은 지능보다는 요청의 뜻을 어느 정도 이해하는 대규모 탐색 알고리듬으로 보는 편이 현재 성과를 더 잘 설명한다고 생각함
- 취약점 발견이나 수학적 증명 생성은 이 해석과 연결됨
- 일부 증명은 맞을 수 있어도 읽기 어렵고 통찰이 부족하다고 보며, 자신이 수학 전문가는 아니라는 한계도 밝힘
- AI가 구현 선택의 장단점을 유창하게 설명해도 실제 결과에 좋은 판단이 반영되지 않는 경우가 있다고 지적함
- 이런 한계는 작은 함수보다 일정 규모 이상의 시스템에서 두드러진다고 봄
- 실제로 Excel에서 CSV 데이터를 불러와 셀 색상, 굵기, 강조 등을 적용하는 약 30줄의 Visual Basic 코드를 만드는 데 AI를 사용함
- 익숙하지 않은 언어와 기능을 직접 익혔다면 약 5시간 걸렸을 일을 반복 수정까지 포함해 약 1시간에 끝냈다고 추산함
- 일회성으로 버릴 코드여서 장기간 견고하게 유지해야 할 시스템의 부담은 없었음
- 비개발자에게는 이전에 불가능했던 작업을 가능하게 하는 큰 변화지만, 이를 무한한 생산성 향상으로 볼 수는 없음
프로그래밍의 핵심은 제약을 유지하는 일
- 큰 프로그램의 어려움은 변수 이름을 정하거나 코드를 타이핑하는 데 있지 않고, 모든 구성 요소가 정확하고 효율적으로 협력하게 하는 데 있음
- 초기에는 설계 자유도가 높지만, 기능이 늘면 선택의 결과가 누적됨
- 향후 기능을 예상해 설계해야 하지만, 실제로 필요하지 않을 미래를 위해 과도하게 일반화하는 것도 문제임
- 파일에 저장한 데이터가 있다면 내부 표현을 바꿔도 기존 사용자 파일을 읽을 수 있어야 하므로 호환성과 변경 비용이 생김
- 프로그램을 노드와 연결로 보면, 코드는 노드에 가깝고 연결은 실행 과정의 함의, 결과, 제약에 해당함
- 결합도를 낮춰 연결을 줄일 수는 있어도, 시스템이 작동하려면 연결은 남아 있어야 함
- 좋은 프로그래머는 이 관계를 머릿속에 구성하고 새 변경이 기존 조건을 깨뜨리지 않게 작업함
- 자신의 능력보다 복잡한 프로젝트를 시도하면, 프로그램 전체에서 유지해야 할 조건을 더는 추적하지 못하는 한계에 부딪힘
- Blow는 현재 AI도 충분히 엄밀한 추론보다는 추론을 닮은 결과를 만드는 수준이어서 이런 역할을 맡기기 어렵다고 봄
유창한 추론과 실제 판단력의 차이
- 게임 출시 전 판매량 예측을 요청했을 때 AI는 여러 근거와 수치를 내놓았지만, 판매량을 높이거나 낮출 이유를 추가하면 사용자의 제안에 맞춰 예측을 쉽게 수정했음
- 겉으로는 추론처럼 보이지만, 논리를 자세히 살피면 빠진 조건과 비약을 쉽게 찾을 수 있었다고 평가함
- 정답을 확인할 수 있는 명확한 문제와 개방적인 판단 문제는 구분할 필요가 있음
- 수학적 증명처럼 결과를 검증할 수 있는 작업에서는 탐색의 진전을 확인하기 쉬움
- 다만 많은 에이전트와 시간을 투입한 결과가 인간의 효율적인 사고와 같지는 않으며, 중요하지 않은 문제에 자원을 오래 쓸 수도 있음
- 모델이 추론을 더 잘 흉내 내다 보면 결국 완전한 추론에 도달한다는 전망을 확신하지 않음
- 불가능하다고 단정하지는 않지만, 개인적인 판단으로는 그 가능성을 50% 미만으로 봄
- 넓은 의미의 AI가 신뢰할 만한 고품질 코드를 만드는 것은 가능할 수 있지만, 현재 방식의 LLM이 적합한 도구인지는 회의적임
- 대안으로 DeepMind의 게임 학습 시스템처럼 규칙과 그 작동을 학습하는 접근을 코드에 적용하고, 사용자와의 대화는 LLM이 담당하도록 결합하는 구상을 제안함
- 이 차이가 실제로 중요할지는 확정하지 않으며, 자신의 가설로 한정함
생산성 향상은 어디에 나타났는가
- 코드를 보지 않는 바이브 코딩뿐 아니라, 개발자가 코드를 검토하면서 AI 통합 편집기로 작성하는 방식까지 포함해 생산성 향상 주장과 실제 제품 변화를 비교해야 한다고 봄
- 3년간 생산성이 10배였다면 단순 계산으로 30년 분량의 발전이 있어야 한다는 질문을 던짐
- 기간을 1년 반, 향상 폭을 5배로 낮춰도 약 7~8년 분량임
- 이는 측정된 생산성 수치가 아니라, 큰 배율의 주장을 검증하기 위한 사고 실험임
- 외부 사용자로서는 소프트웨어가 훨씬 좋아졌거나 새롭고 강력한 일을 하기 시작했다는 변화를 보지 못했다고 평가함
- AI 자체는 중요한 기술적 발전이라는 점과, AI가 일반 소프트웨어 제작에 가져온 성과는 구분함
- 생산성 향상이 실제로 있어도 기존 산업의 복잡성 속으로 흡수되는 것 아니냐는 가설을 함께 검토함
- 코드량과 복잡성의 증가는 분명할 수 있지만, 그것이 사용자에게 보이는 근본적인 발전과 같지는 않음
36년간 달라진 운영체제와 달라지지 않은 기본 기능
- Blow는 대학 시절 SunOS, Solaris, Silicon Graphics 워크스테이션, Digital Equipment Corporation의 Ultrix, Apollo의 DomainOS 등 다양한 시스템을 사용하거나 접함
- 당시 업체들은 하드웨어와 운영체제의 우수성을 경쟁력으로 여겼고, 서로 호환되지 않는 Unix 변형도 많았음
- Apollo가 DomainOS 위에 Unix를 얹으면서 느리고 불안정해진 사례를 계층 추가의 예로 회고함
- 1990년과 2026년을 비교하면, 메모리 보호 아래 프로그램을 실행하고 마우스로 창을 조작하는 기본적인 컴퓨팅 방식은 36년간 크게 달라지지 않았다고 봄
- 해상도, 색상, 모니터 형태 등의 큰 변화는 주로 하드웨어 개선임
- 반면 같은 기본 작업을 수행하는 운영체제의 코드량은 크게 늘었음
- 실질적인 소프트웨어 개선 자체를 부정하지는 않음
- 더 나은 파일시스템, 사용자 프로그램을 디스크처럼 보이게 하는 Linux 기능, iCloud 같은 서비스, 보안 기능 등을 예로 듦
- 인터넷 프로토콜은 이미 과거 Unix에도 있었으며, 웹브라우저는 대체로 운영체제와 별개의 계층으로 구분함
- 브라우저와 운영체제의 결합 문제에서는 Microsoft의 과거 반독점 소송도 짧게 짚음
- 추가된 코드 중 얼마가 유용한지는 정확히 산정하기 어렵지만, 상당 부분은 유용성보다 유지 부담을 늘렸다고 평가함
플랫폼 종속과 표준이 만드는 복잡성
- 상용 운영체제 업체의 기능과 API에는 제품 개선 외에 개발자를 플랫폼에 묶어두는 유인도 있다고 봄
- Microsoft, macOS, iOS 등의 고유 API에 투자할수록 다른 운영체제나 Android로 옮기는 비용이 커짐
- 개발자 지원과 홍보가 실제 품질 개선을 대신해 채택을 늘리는 수단이 될 수도 있음
- 이 설명이 Linux 전체에 그대로 적용되지는 않으며, Linux에도 비슷한 복잡성 증가가 있다는 점을 인정함
- proc 같은 고유 인터페이스는 정당한 문제를 해결하더라도 다른 플랫폼과 다른 방식이어서 이식성을 낮출 수 있음
-
표준화는 중복을 줄이면서도 복잡성을 키울 수 있음
- 여러 구현을 하나로 맞추려다 모든 사용자의 요구를 수용하면 표준 자체가 거대해짐
- System V의 여러 실행 수준과 계속 커지는 웹 표준을 예로 듦
- systemd를 이런 확장의 대표 사례로 비판함
- 초기 Unix의 짧은 부팅 스크립트와 달리 로그인, 메시징 등 여러 기능까지 맡게 됨
- 마지막으로 들은 규모는 150만 줄 이상이지만, 최신 수치를 확인하거나 소스를 직접 검토한 것은 아님
오픈소스의 중복 작업과 잃어버린 설계 기억
- Linux 배포판 계보에서 끊임없는 분기와 소멸을 보며 상당한 중복 작업이 발생한다고 평가함
- 포크는 다른 설계를 시험하고 발전을 가능하게 한다는 점에서 중요함
- 다만 실제로는 유사한 작업에 많은 노력이 소모된다고 봄
- 규제를 도입하기보다는 설계 이유를 보존하는 역할을 프로그래밍 직업 안에 만들고 싶다고 밝힘
- 개발자 100명 중 1명 정도가 왜 특정 구조를 선택했는지 기록하고 기억하는 역할을 맡는 구상을 제안함
- 이런 지식이 현재의 판단을 더 나은 방향으로 이끌 수 있다고 기대함
- 깨끗하고 이해 가능하며 유지보수하기 쉬운 시스템이라는 목표는 여전히 가르치지만, 실제로는 작은 기능 차이에 많은 코드를 추가하는 경우가 많다고 비판함
- 외형적인 변경은 근본적인 개선보다 쉽기 때문에, 기여를 단순히 코드 반영으로 평가하면 쉬운 변경이 쌓이기 쉬움
- 사소한 외형 차이라면 구현하지 않는 절제도 필요하다고 봄
기술 부채는 쌓을 수 있지만 갚아야 함
- 초기에는 약간 지저분한 구현으로 목표에 가까운 결과를 빨리 만드는 것이 유용할 수 있음
- 실제 작동하는 결과가 생기면 막연한 가정보다 나은 판단을 할 수 있으므로, 제어 가능한 기술 부채를 일시적으로 쌓는 것은 합리적임
- 다만 어느 시점에는 기능 개발을 멈추고 구조를 정리하는 작업이 필요함
- 자신의 프로젝트에서도 이를 반복하지만, 직원들에게는 더 자주 하도록 해야겠다고 인정함
- 산업 전체에서는 운영체제나 웹 같은 기반을 다시 정리할 권한과 동기가 부족함
- 컴파일러 구조를 고치느라 일주일간 작업해도 새 기능 없이 기존 동작만 복구할 수 있음
- 그래도 더 깨끗한 구조는 만족감을 주며, 개발자의 직업 만족과 장인정신에도 중요하다고 봄
- 큰 프로그램의 기술 부채를 완전히 없애기는 어렵지만, 계속 의식하고 관리해야 함
AI가 만든 기술 부채와 유용한 적용 범위
- AI가 기술 부채를 쉽게 해결해줄 것이라는 기대와 달리, 같은 문제에서도 숙련된 사람보다 더 많은 코드를 생성하는 경향이 있다고 평가함
- 수학적 증명이 인간의 것보다 훨씬 길어지는 경우와 비슷하게 봄
- 추가 코드는 다음 변경에서 다시 이해하고 유지해야 할 부담이 됨
- AI의 처리 능력이 무한하지 않은 이상, 복잡성 증가가 오류와 변경 난도를 높여 결국 작업이 막히는 지점이 올 수 있다고 봄
- 순수한 바이브 코딩에서는 이 한계가 비교적 빨리 나타나지만, 단순한 프로그램은 그 전에 완성될 수 있음
- 간단한 웹페이지는 입력 처리 등 어려운 부분을 기존 기반 기술에 맡기므로 AI가 다루기 쉬운 작업일 수 있음
- 신용카드 번호의 오타를 잡는 검사 같은 제한된 로직이 그 예이며, 이것은 보안 기능과는 구분함
- 마사지 업소의 소개 페이지처럼 이전에는 사람을 고용해야 했던 작업을 직접 완성하는 것은 분명한 개선임
- 반면 복잡한 웹 애플리케이션까지 같은 성공을 일반화할 수는 없음
- 취약점 탐색은 린터, 실행 계측 도구, 퍼저처럼 기존 개발을 보조하는 유용한 도구로 인정함
- 다만 공격자가 수정자보다 빠르게 활용하면 피해가 더 커질 수 있으며, 순효과는 아직 확정하기 어려움
- 최근에는 부실한 취약점 공개 절차 때문에 공격이 업데이트보다 앞서는 사례도 있음
AI 창업 열풍과 거품 가능성
- Blow는 현재 AI 열풍이 자신이 경험한 닷컴 거품과 스타트업 액셀러레이터 열풍의 패턴을 닮았다고 봄
- 2010~2017년 무렵의 액셀러레이터 확산을 작은 거품으로 평가하며, 2010년 Y Combinator Demo Day에서는 사업 아이디어에 실망해 자리를 떠났다고 회고함
- 거품 안에서는 일부 부실한 기업만 눈에 띄다가, 뒤늦게 문제의 범위가 드러나며 정확한 붕괴 시점도 알기 어려움
-
거품 붕괴가 모든 기술과 사업의 무효를 뜻하지는 않음
- pets.com 같은 아이디어도 시기와 조건이 달랐다면 유효할 수 있음
- AI의 일부 활용은 실제로 가치가 있으며, 무엇이 살아남을지는 확신하지 않음
- 공개적으로 보이는 AI 소프트웨어 스타트업 상당수가 에이전트로 특정 작업을 대신하는 수준에 머문다고 비판함
- 더 진지한 기업이 비공개로 개발 중일 수 있으므로, 보이는 표본에 한계가 있다는 점은 인정함
- 특화 학습이나 통합이 차별점일 수 있지만, 많은 경우 범용 서비스에 직접 요청하는 것과 차이가 작다고 봄
- 기반 AI 플랫폼에 의존하는 사업은 플랫폼 업체가 같은 기능을 제공하면 경쟁력을 잃을 수 있다고 우려함
- 모든 기업을 미리 평가하기는 어렵고 일부는 성공할 수 있지만, 차별성이 약한 기업이 대거 생기는 현상은 거품의 일부라고 판단함