← 목록으로

소프트웨어가 느린 이유는 느린 언어가 아니라 나쁜 설계 때문이다

요약
  • 소프트웨어 성능 향상은 단순히 빠른 언어로 재작성하는 것보다 프로파일링을 통한 병목 분석과 설계 개선이 더 효과적입니다.
  • 특히 I/O 병목이 큰 경우 언어 교체 효과가 제한적이므로 캐싱, 비동기 처리, SQL 최적화 등 구조적 개선에 집중해야 합니다.
  • AI로 프로그램을 C나 Rust로 다시 쓰기보다 설계를 개선하는 편이 큰 성능 향상으로 이어지는 경우가 많음
  • 데이터베이스와 네트워크를 기다리는 시간이 길다면 언어를 바꿔도 효과가 제한되며, 요청 시간의 절반이 DB 조회라면 나머지 코드를 아무리 빠르게 해도 전체 속도는 최대 2배
  • Python도 계산 집약적인 작업은 이미 최적화된 네이티브 라이브러리에 맡기는 경우가 많아, 언어를 바꿔도 핵심 연산이 빨라지지 않을 수 있음
  • 캐싱, 비동기 처리, 병렬화, 불필요한 SQL 쿼리 제거처럼 수행할 작업을 줄이거나 재구성하는 것이 주요 최적화 방법
  • AI에는 먼저 프로파일링과 병목 분석, 설계 개선을 맡기고, 작업량을 줄일 수 없는 CPU 병목이 확인되면 해당 부분을 빠른 언어로 재작성하는 방식이 효과적
언어 속도 차이가 프로그램 전체의 속도 차이는 아님
  • AI로 빠른 언어로 재작성하면 소프트웨어가 빨라질 것이라는 기대와 달리, 대부분의 프로그램은 C나 Rust로 옮기는 것만으로 유의미하게 빨라지기 어려움
  • C가 Python보다 50배 빠를 수 있어도, Python 프로그램을 C로 옮겼을 때 전체 실행 속도가 50배 빨라지는 것은 아님
    • 소프트웨어 성능은 보통 I/O에 좌우되며, 언어 속도가 중요한 부분에는 이미 C 수준의 속도를 활용하는 라이브러리가 널리 쓰임
    • 성능 개선에서는 언어 선택보다 설계가 더 중요한 경우가 많음
I/O 병목과 성능 향상의 상한
  • 데이터베이스를 사용하는 CRUD 웹사이트에서 요청 시간의 50%가 데이터베이스 조회에 쓰인다고 가정하면, C로 재작성해도 나머지 50%만 가속할 수 있음
    • 현재 사용자, 요청한 레코드, 사용자 소속이나 설정 등을 조회하는 시간은 그대로 남음
    • 이 경우 최대 속도 향상은 2배이며, 실제로는 1.5배에 더 가까울 수 있음
    • 이러한 상한은 암달의 법칙에 해당함
  • 50%라는 비중은 보편적인 측정값이 아니라 인터프리터 언어를 다룬 경험에 기반한 예시임. 주로 다루는 언어와 작업에 따라 매우 높거나 낮게 느껴질 수 있음
  • I/O 병목 프로그램은 실제 계산보다 데이터를 주고받기를 기다리는 데 시간을 많이 쓰며, CPU 병목 프로그램은 연산 자체에 시간을 많이 씀
    • 데이터베이스뿐 아니라 외부 API, 디스크 읽기와 쓰기도 대기의 원인이 됨
    • curl 코드를 100배 빠르게 만들어도 네트워크 대기가 대부분이라면 차이를 거의 느끼지 못할 수 있음
느린 언어도 이미 빠른 코드에 작업을 위임함
  • 위키의 Markdown을 HTML로 변환하는 작업은 빠른 언어로 구현하면 크게 빨라질 수 있어, 실제 애플리케이션은 cmark-gfm 같은 라이브러리를 활용함
    • HTML을 미리 저장할 수도 있지만 사용자별로 내용이 달라질 수 있으며, 저장하더라도 최초 변환은 필요함
  • Python은 언어 자체는 느려도 PyTorch와 TensorFlow 같은 생태계 덕분에 머신러닝과 수학 연산에서 경쟁력 있는 선택지임
    • 계산을 빠른 C 코드에 위임할 수 있음
    • 실행 시간의 80%를 GPU 행렬 곱셈에 쓰는 프로그램이라면, 해당 연산은 이미 고도로 최적화된 C나 어셈블리 코드에서 수행되므로 C 재작성으로 빨라질 가능성이 매우 낮음
  • 충분한 엔지니어링 투자를 받지 않은 프로그램에는 느린 언어로 수행하는 CPU 작업과 쉽게 얻을 수 있는 개선 기회가 남아 있을 수 있음
    • 다만 중요한 프로그램이라면 AI가 재작성을 비교적 쉽게 만들기 전에도 최적화에 투자했을 가능성이 높다는 전제가 깔려 있음
    • 유용한 재작성 대상이 전혀 없다는 뜻은 아님
  • Actual Computer의 toks는 tiktoken을 어셈블리로 재작성해 상당한 속도 향상을 얻은 사례임
    • 프로젝트는 tiktoken 대비 4~23배 빠르다고 하며, 원문에 기록된 개인 노트북 실측에서는 약 5배 빨랐음
    • 다만 Rust와 Python 바인딩 자체의 느림보다 정규식 의존성을 제거한 설계 변경에서 효과가 나왔을 가능성도 있음
    • 토큰화 시간은 추론 시간의 일부에 불과하므로, 빠른 토큰화가 전체 성능에 미치는 효과는 제한적임
큰 성능 향상은 재설계에서 나옴
  • 널리 쓰이는 소프트웨어에도 큰 개선 여지는 있지만, 그 기회는 더 빠른 언어로의 재작성보다 프로그램 재설계에 있을 수 있음. AI 사용 여부와는 별개의 문제임
  • Bryan Cantrill의 2018년 Rust 전환 사례에서는 정교하게 최적화한 C 설계가 Rust의 빌림 검사기와 잘 맞지 않았음
    • 기존 설계를 포기하고 Rust로 단순하게 구현했을 때 20% 이상의 성능 저하를 예상했지만, 실제로는 30% 더 빨랐음
    • 성능 차이의 원인은 이진 탐색 트리보다 캐시 효율이 좋은 B-tree를 선호하는 Rust 내부 설계에 있었음
    • CPU 중심 작업이고 숙련된 C 개발자가 구현했더라도 자료구조 설계가 언어 속도보다 크게 작용할 수 있음
  • 고수준 언어에서 큰 속도 향상을 얻었던 개인 경험도 대부분 작업을 줄이거나 실행 방식을 바꾸는 재설계였음
    • 외부 API 호출처럼 느린 작업을 캐싱함
    • 느린 작업을 백그라운드 작업으로 옮기거나 요청/응답 수명주기 밖에서 비동기로 처리함
    • 순차 작업을 병렬화하고, 필요하면 큰 작업을 나누어 실행함
    • 여러 SQL 쿼리를 하나로 합쳐 N+1 문제를 해결함
    • 느린 SQL 쿼리를 빠른 쿼리로 교체함
    • 페이지네이션 화면에서는 현재 페이지의 항목에 대해서만 부가 데이터를 가져오는 등 불필요한 작업을 생략함
  • 이러한 전략은 언어 실행 속도와 무관하며, 고수준 언어가 프로그램의 동작을 한눈에 파악하게 해 최적화를 더 쉽게 만들 수도 있음
    • 웹 서버를 먼저 어셈블리로 옮기면 N+1 쿼리나 백그라운드로 이동 가능한 API 호출을 발견하기가 오히려 어려울 수 있음
AI에는 재작성보다 프로파일링과 재설계를 맡겨야 함
  • AI 에이전트로 Rust, C, 어셈블리 재작성을 시도하는 일은 재미있을 수 있지만, 그 방식만으로 유의미하게 빨라질 프로그램의 범위는 좁음
  • 먼저 AI에 프로파일링, 병목 식별, 재설계 제안을 요청하는 편이 나음
    • 실제 CPU 병목이면서 작업량을 줄이는 리팩터링도 불가능한 드문 경우에는 해당 부분을 빠른 언어로 바꾸는 것이 도움이 됨
    • 처음부터 전체를 재작성하는 방식은 기대보다 성과가 훨씬 작을 수 있음
  • 이식성, 효율성, 유지보수성 등은 다른 언어로 옮길 좋은 이유가 될 수 있지만, 순수한 속도 개선이 목적이라면 설계에 집중하는 편이 나음
반론과 적용 범위
  • lobste.rs 토론에서는 대체로 비판적인 의견이 나왔으며, 특히 CRUD가 I/O 병목인지에 이견이 있었음
  • 일부 반론은 데이터베이스 쿼리는 약 5ms인데 응답은 약 500ms 걸린다는 점을 근거로 삼음
    • 반면 한 요청에 수십~수백 개의 쿼리가 실행되거나, 5ms보다 훨씬 느린 대형 쿼리와 내부 API 호출을 사용하는 경우도 경험상 드물지 않았음
    • 이는 수천 개의 Ruby 플레임 그래프와 다수의 Rails 엔드포인트를 분석한 경험에 근거하지만, 몇몇 회사에 한정된 경험이므로 다른 모놀리스는 다를 수 있음
  • 가장 높은 순위의 댓글은 브라우저 레이아웃 엔진, 3D 렌더러, 워드 프로세서, 신경망처럼 CPU 병목인 프로그램도 많다고 반박함
    • 이 사례들이 CPU 병목이라는 점에는 동의하지만, 대부분의 엔지니어가 그런 작업을 하지는 않는다고 봄
    • 브라우저 레이아웃 엔진, 3D 렌더러, 신경망 프로그램 수를 합쳐도 CRUD 프로그램 수의 약 5%일 수 있고, 흥미로운 문제라 공개 프로그래밍 논의에서는 50% 이상을 차지할 수 있다는 수치는 검증된 통계가 아닌 개인적 추정이며 틀릴 수 있음
  • 다른 댓글과 추가 의견, 관련 반론은 언어 생태계가 성능 개선을 쉽게 또는 어렵게 만든다는 점을 짚음
    • 어떤 언어는 빠른 설계를 더 자연스럽게 구현하도록 돕기 때문에, 언어 변경이 설계 변경을 쉽게 한다면 프로그램이 빨라질 수 있음
  • LLM으로 C 재작성을 추진하면 이미 상당히 최적화된 코드나 쉽게 가속할 수 없는 I/O 작업을 만나게 될 수 있음. 최적화 요청의 중심은 “C로 다시 작성하기”보다 “설계를 바꿔 더 빠르게 만들기”에 두는 편이 나음
그냥 목록으로
원문 보기 ↗