← 목록으로

마이크로컨트롤러를 위한 JIT 비트맵 텍스트 렌더링

요약
  • RP2350 마이크로컨트롤러 기반의 vic-2350 프로젝트는 JIT 컴파일을 활용해 비례 간격과 커닝을 지원하는 비트맵 텍스트를 고속으로 렌더링합니다.
  • 주사선 단위의 영상 버퍼 채우기 방식과 ARM 어셈블리 최적화를 통해 낮은 지연시간과 높은 효율성을 구현했으며, 압축된 글리프 비트맵으로 메모리 사용량을 최소화했습니다.
  • RP2350 기반 vic-2350은 문자열을 최적화된 렌더링 코드로 즉석 변환하는 JIT를 사용해, 비례 간격과 커닝을 지원하는 비트맵 텍스트를 빠르게 그려냄
  • 프레임버퍼 대신 주사선마다 영상 버퍼를 채우는 race-the-beam 방식을 사용하며, 픽셀당 약 6사이클의 처리 예산 안에서 동작하도록 설계함
  • 생성된 코드는 압축된 글리프 비트맵에서 픽셀을 추출해 1bpp 중간 버퍼에 합성하고, 별도 단계에서 RGB565로 확장함
  • 텍스트 데모의 JIT 컴파일과 생성 코드 실행은 RP2350 단일 코어 처리량의 약 2.6% 를 사용하며, RGB565 변환에는 그보다 약 3배 많은 비용이 듦
  • 내적 기반 커닝은 글리프 양쪽의 비트 벡터를 AND한 뒤 켜진 비트 수를 세어 간격을 계산하며, 글리프당 2바이트의 테이블만 필요함
비트맵 글꼴과 주사선 단위 렌더링
  • vic-2350은 RP2350 마이크로컨트롤러 보드에서 1980년대 가정용 컴퓨터를 재구상하는 프로젝트임
    • 효율성과 저해상도에서 의도적으로 설계한 선명한 픽셀 형태를 선호해, 안티앨리어싱 글꼴 대신 비트맵 글꼴을 선택함
    • 초기 Macintosh와 그 전신의 미감을 살리기 위해 비례 간격과 커닝도 구현함
    • RP2350 프로젝트 대부분의 텍스트 렌더링은 성능 확보가 까다로워 고정 문자 셀에 기반함
  • 1980년대 중반의 고정 셀 텍스트 방식은 화면 출력 중 글꼴 ROM에서 문자를 찾아 제한된 하드웨어로도 빠른 갱신과 반응성을 얻었지만, 고정폭 글꼴만 지원함
  • Xerox Alto에서 Apple Lisa, Macintosh로 이어진 비트맵 프레임버퍼는 훨씬 유연했지만 갱신에 더 많은 연산이 필요했음
    • 1980년대 초에는 텍스트가 점진적으로 그려지는 모습을 흔히 볼 수 있었음
    • 가정용 컴퓨터에도 그래픽 모드는 있었지만 대체로 텍스트 모드보다 해상도가 낮았고, 1MHz 6502급 CPU의 처리력도 부족해 워드프로세서와 스프레드시트는 텍스트 모드를 사용함
  • RP2350은 HSTX 주변장치로 DVI 출력을 지원하지만, 영상 버퍼를 채우는 일은 소프트웨어가 담당함
    • SRAM이 520kB이므로 프레임버퍼를 쓰려면 해상도나 비트 심도, 또는 둘 다 제한해야 하며 애플리케이션용 메모리도 남겨야 함
    • vic-2350은 주사선마다 버퍼를 채워 더 풍부한 화면과 낮은 지연시간을 얻는 대신, 픽셀당 약 6사이클이라는 엄격한 렌더링 예산을 지켜야 함
    • 텍스트 처리 비용을 줄일수록 다른 그래픽 객체와 애플리케이션 기능에 더 많은 연산 시간을 쓸 수 있음
  • 이 렌더러의 성능 요구를 Rust로 충족하지 못해 ARM 어셈블리로 전환했으며, 현재 렌더러와 vic-2350의 상당 부분은 Cortex-M33 고성능 프로그래밍용으로 만든 symbolasm으로 작성됨
디스플레이 리스트와 객체 수명주기
  • 애플리케이션과 렌더러는 이중 버퍼 디스플레이 리스트로 연결됨
    • 한 리스트를 렌더링해 출력하는 동안 애플리케이션이 다른 리스트를 구성하고, 준비가 끝났다면 수직 동기화 시점에 교체함
    • 리스트 구성 자체는 연산량이 크지 않지만, 애플리케이션이 다른 작업으로 바쁠 수 있음
  • 객체 수를 컴파일 시점에 알 수 없어 리스트 구성 중 동적 할당을 사용함
    • 객체 본체와 객체 인덱스를 각각 별도 벡터에 저장하며, 객체는 vtable, 경계 사각형, 객체별 데이터로 구성됨
    • 리스트 구성은 시간 제약이 엄격하지 않아 할당을 허용하지만, 두 사본을 유지하므로 메모리 효율이 중요함
  • 출력 전에 인덱스를 시작 y좌표인 y0 순서로 정렬함
    • 렌더링 중에는 현재 주사선과 겹치는 객체만 활성 리스트에 유지함
    • 각 주사선에서 y1 = y인 객체를 제거하고 y0 = y인 객체를 추가하며, 활성 리스트 내부는 디스플레이 객체 순서를 유지함
    • 활성 객체마다 render 메서드를 호출함
  • 객체가 활성 리스트에 들어오고 나갈 때 start와 end 메서드를 호출함
    • 임시 메모리 할당과 렌더링 준비에 사용할 수 있으며, 빠르고 결정적으로 동작하는 전용 비트맵 할당기가 있음
    • 불투명 구간을 추적해 나중에 덮어쓸 픽셀의 렌더링을 생략하는 최적화는 계획 중이며, 현재 텍스트 렌더링 기법의 필수 요소는 아님
텍스트 객체와 글꼴 압축
  • 텍스트 객체에는 문자당 1바이트인 문자열, 글꼴 포인터, 전경색과 배경색을 저장함
    • 이전 구현은 확장된 텍스트 데이터를 디스플레이 리스트에 저장했으나, 화면을 텍스트로 채우면 메모리 부담이 너무 컸음
  • start는 JIT 코드와 1bpp 중간 버퍼용 임시 공간을 할당하고 문자열을 코드로 변환함
    • render는 생성된 코드를 실행해 1bpp 버퍼를 채운 뒤, 두 번째 단계에서 16bpp RGB565로 확장함
    • RGB565 확장 단계는 지속적으로 픽셀당 1.75사이클에 동작함
  • 글꼴의 실제 픽셀은 글꼴 높이와 같은 높이의 가로로 긴 비트맵에 조밀하게 저장함
    • 각 글리프가 32픽셀 청크 경계를 넘지 않게 배치하므로, 글리프 한 행을 한 번의 32비트 로드로 읽을 수 있음
    • 좌우 공백은 비트맵에 넣지 않고 글리프별 메타데이터에 저장함
  • 압축 알고리듬은 글리프 간 중첩도 찾아 픽셀을 공유하며, 글꼴 비트맵 크기를 1,140바이트에서 960바이트로 축소함
    • {][}처럼 겹쳐 배치할 수 있는 조합을 활용하며, 다른 글리프 안에 포함되는 형태는 별도로 저장할 필요가 없음
    • l은 U의 왼쪽 부분과 같고, 0은 괄호 사이 공백을 없앤 ()와 동일함
    • 영상 출력 속도로 렌더링할 때 플래시 접근이 정체를 일으킬 수 있어 글꼴 비트맵은 SRAM에 둬야 함
  • 커닝을 제외한 글리프 메타데이터는 비트맵 내 x위치, 실제 픽셀 폭, 왼쪽 여백, 다음 글자로 이동할 거리의 네 필드를 32비트 정수 하나에 압축함
JIT 코드 생성과 명령어 배치
  • 생성 코드의 레지스터 역할은 다음과 같음
    • r0: 압축 글꼴 비트맵의 현재 행 시작 주소
    • r1: 한 주사선 분량의 1bpp 출력 버퍼
    • r2: 출력 비트맵 누산기
    • r3: r4에서 추출한 단일 글리프 비트
    • r4: 글꼴 비트맵에서 읽은 32비트
  • 기본 경로는 ldr → ubfx → orr 로 구성됨
    • 글꼴 데이터를 읽고, 필요한 비트 필드를 추출한 뒤, 출력 위치에 맞춰 시프트해 누산기에 합침
    • 출력 워드가 완성되면 stmia r1!, {r2}로 저장하고, 글리프가 출력의 32비트 경계를 넘는 경우에는 추가 처리를 수행함
    • 경계 처리의 구체적인 구현은 text.sy에 있음
  • ldr 직후 ubfx가 결과를 사용하면서 생기는 지연은 글리프 사이 명령어 재배치로 제거함
    • 글리프 i의 마지막 명령어를 글리프 i + 1의 첫 ldr 뒤로 옮겨 지연 슬롯을 채움
    • 기본 글리프 처리 비용이 4사이클에서 3사이클로 줄어듦
  • 코드 생성기는 압축 메타데이터에서 비트/워드 오프셋, 픽셀 폭, 왼쪽 여백, 이동 거리를 추출해 명령어를 구성함
    • 출력 워드 경계를 넘지 않는 기본 생성 루프는 글리프당 23사이클임
    • ubfx와 orr 명령어 구성에는 조회 테이블을 사용함
  • symbolasm 분석 도구는 기계어, ARM 어셈블리, 사이클 수를 함께 보여주며 관련 정보는 LSP에서도 제공함
    • K는 분기 직전 사이클에야 조건이 확정되어 지연이 생길 수 있음을 나타냄
    • 예시의 0/2는 분기하지 않으면 0사이클, 분기하면 2사이클이며 해당 두 분기는 더 최적화할 수 없음
    • H는 상위 레지스터 r8~r15 사용 때문에 명령어가 16비트가 아닌 32비트임을 나타냄
성능, 메모리 절충과 비교 한계
  • 기본 비용은 글리프당 JIT 23사이클, 비트맵 생성은 3사이클 × 높이임
    • 출력 폭 32비트마다 JIT 약 20사이클과 실행 시 2사이클 × 높이가 추가됨
  • vic-2350 텍스트 데모는 JIT 약 21,000사이클, 생성 코드 실행 약 42,000사이클을 사용함
    • 합계는 RP2350 단일 코어 가용 처리량의 약 2.6%이며, RGB565 확장 비용은 이보다 약 3배 큼
  • 이 기법은 프레임버퍼, 특히 1bpp 프레임버퍼에도 적용할 수 있음
    • 코드를 생성한 다음 주사선마다 실행하면 됨
  • JIT 결과 캐시보다 RAM 절약을 우선함
    • 생성 코드가 입력 문자열보다 약 10배 커지는 반면, JIT 컴파일 비용은 작음
    • 실제 vic-2350에서는 해당 영상 주사선 출력까지 100μs도 남지 않은 시점에 JIT 컴파일러가 실행됨
  • 기존 RP2350 텍스트 렌더러와의 직접 성능 비교 자료는 찾지 못했음
    • 가장 가까운 사례는 Michael Bell이 만들고 Adafruit가 포크한 dvhstx로, 전체 비용이 픽셀당 약 2~2.5사이클임
    • 다만 14×24 격자로 제한되고 RGB222를 사용해 출력 대역폭이 절반이며, 출력이 처리 시간의 대부분을 차지하므로 동일 조건 비교는 아님
내적 기반 커닝
  • 불규칙한 글자 간격을 줄이되 복잡한 OpenType 커닝보다 간단하고 효율적인 방식으로 구현하기 위해 내적 기반 커닝을 사용함
    • GPU에서 텍스트 배치를 처리하려던 아이디어에서 출발함
  • 각 글리프에 왼쪽과 오른쪽 비트 벡터를 하나씩 저장함
    • 앞 글리프의 오른쪽 벡터와 뒤 글리프의 왼쪽 벡터를 AND한 후, popcount로 1인 비트 수를 세면 커닝할 픽셀 수가 됨
    • 비트를 0과 1로 해석하면 두 벡터의 내적과 같으며, 테이블 크기는 글리프당 2바이트임
  • 커닝 계산은 빠르지만 디스플레이 리스트 구성 시점에 수행해 주사선 렌더링 경로에서 제외함
    • 커닝 값이 0이 아니면 텍스트 객체 문자열에 특수한 음수 공백 문자를 삽입함
  • 이 글꼴의 커닝 테이블은 수작업으로 만들었으며, 각 비트는 특정한 형태적 특징을 나타냄
    • 비트 0은 앞 글리프의 오른쪽 위 돌출부와 다음 글리프의 왼쪽 위 빈 공간에 대응함
    • T, Y의 오른쪽과 대부분 소문자 및 A의 왼쪽에 이 비트를 설정함
    • 다른 방식으로 준비된 커닝 정보를 변환하는 등 테이블 제작을 자동화하는 도구를 구상할 수 있음
  • 일반 글꼴로의 확장은 가능성이 있지만 아직 구현하지 않음
    • 비트와 정수 커닝 값 대신 적절히 양자화한 연속값 벡터를 사용하고, 곱셈 후 합산 전에 비선형 단계를 추가하는 방식을 고려함
    • GPU는 내적을 매우 효율적으로 처리하지만 OpenType 테이블의 인덱스를 따라가는 작업에는 그렇지 않다는 점이 탐색 동기임
    • 현재 비트맵 글꼴에서는 커닝으로 품질이 상당히 개선됨
구현 과정의 AI 사용과 선행 사례
  • 이번 작업은 수작업으로 작성된 pico-dvi-rs의 텍스트 렌더링을 개선한 것임
    • JIT 핵심 초안은 Rust로 직접 작성한 뒤 Claude로 symbolasm 변환, 개선, 최적화를 수행함
    • symbolasm 컴파일러와 분석 도구도 초기 수작업 버전에서 발전했으나 LLM의 도움을 많이 받았으며, 블로그 본문은 직접 작성함
  • 미세 타이포그래피 실험도 수행했지만, LLM 생성 콘텐츠 비중이 높아지는 점 등을 이유로 포함하지 않음
    • 이 작업에서 Claude는 JIT 초안의 경계 사례를 쉽게 찾아냈음
    • 개발 경험상 LLM을 신중하게 사용하면 품질을 개선할 수 있지만, 품질과 개발 가속 사이의 균형은 여전히 고민거리임
  • 텍스트 렌더링에 JIT를 직접 적용한 선례

    • 텍스트 렌더링에 JIT를 직접 적용한 선례는 많이 찾지 못했음
    • 일반적인 JIT 연구는 방대하며, 1982년경 Blit)에서는 bitblt용 코드를 즉석 생성했음
    • 관련 자료인 Bitmap Graphics SIGGRAPH 84는 초당 약 2,500자를 기록함
    • Blit 프레임버퍼와 같은 1bpp 출력만 계산하면, 이번 RP2350 구현의 원시 처리 성능은 그보다 약 1,000배 높음
그냥 목록으로
원문 보기 ↗