- RP2350 기반 vic-2350은 문자열을 최적화된 렌더링 코드로 즉석 변환하는 JIT를 사용해, 비례 간격과 커닝을 지원하는 비트맵 텍스트를 빠르게 그려냄
- 프레임버퍼 대신 주사선마다 영상 버퍼를 채우는 race-the-beam 방식을 사용하며, 픽셀당 약 6사이클의 처리 예산 안에서 동작하도록 설계함
- 생성된 코드는 압축된 글리프 비트맵에서 픽셀을 추출해 1bpp 중간 버퍼에 합성하고, 별도 단계에서 RGB565로 확장함
- 텍스트 데모의 JIT 컴파일과 생성 코드 실행은 RP2350 단일 코어 처리량의 약 2.6% 를 사용하며, RGB565 변환에는 그보다 약 3배 많은 비용이 듦
- 내적 기반 커닝은 글리프 양쪽의 비트 벡터를 AND한 뒤 켜진 비트 수를 세어 간격을 계산하며, 글리프당 2바이트의 테이블만 필요함
- vic-2350은 RP2350 마이크로컨트롤러 보드에서 1980년대 가정용 컴퓨터를 재구상하는 프로젝트임
- 효율성과 저해상도에서 의도적으로 설계한 선명한 픽셀 형태를 선호해, 안티앨리어싱 글꼴 대신 비트맵 글꼴을 선택함
- 초기 Macintosh와 그 전신의 미감을 살리기 위해 비례 간격과 커닝도 구현함
- RP2350 프로젝트 대부분의 텍스트 렌더링은 성능 확보가 까다로워 고정 문자 셀에 기반함
- 1980년대 중반의 고정 셀 텍스트 방식은 화면 출력 중 글꼴 ROM에서 문자를 찾아 제한된 하드웨어로도 빠른 갱신과 반응성을 얻었지만, 고정폭 글꼴만 지원함
- Xerox Alto에서 Apple Lisa, Macintosh로 이어진 비트맵 프레임버퍼는 훨씬 유연했지만 갱신에 더 많은 연산이 필요했음
- 1980년대 초에는 텍스트가 점진적으로 그려지는 모습을 흔히 볼 수 있었음
- 가정용 컴퓨터에도 그래픽 모드는 있었지만 대체로 텍스트 모드보다 해상도가 낮았고, 1MHz 6502급 CPU의 처리력도 부족해 워드프로세서와 스프레드시트는 텍스트 모드를 사용함
- RP2350은 HSTX 주변장치로 DVI 출력을 지원하지만, 영상 버퍼를 채우는 일은 소프트웨어가 담당함
- SRAM이 520kB이므로 프레임버퍼를 쓰려면 해상도나 비트 심도, 또는 둘 다 제한해야 하며 애플리케이션용 메모리도 남겨야 함
- vic-2350은 주사선마다 버퍼를 채워 더 풍부한 화면과 낮은 지연시간을 얻는 대신, 픽셀당 약 6사이클이라는 엄격한 렌더링 예산을 지켜야 함
- 텍스트 처리 비용을 줄일수록 다른 그래픽 객체와 애플리케이션 기능에 더 많은 연산 시간을 쓸 수 있음
- 이 렌더러의 성능 요구를 Rust로 충족하지 못해 ARM 어셈블리로 전환했으며, 현재 렌더러와 vic-2350의 상당 부분은 Cortex-M33 고성능 프로그래밍용으로 만든 symbolasm으로 작성됨
- 애플리케이션과 렌더러는 이중 버퍼 디스플레이 리스트로 연결됨
- 한 리스트를 렌더링해 출력하는 동안 애플리케이션이 다른 리스트를 구성하고, 준비가 끝났다면 수직 동기화 시점에 교체함
- 리스트 구성 자체는 연산량이 크지 않지만, 애플리케이션이 다른 작업으로 바쁠 수 있음
- 객체 수를 컴파일 시점에 알 수 없어 리스트 구성 중 동적 할당을 사용함
- 객체 본체와 객체 인덱스를 각각 별도 벡터에 저장하며, 객체는 vtable, 경계 사각형, 객체별 데이터로 구성됨
- 리스트 구성은 시간 제약이 엄격하지 않아 할당을 허용하지만, 두 사본을 유지하므로 메모리 효율이 중요함
- 출력 전에 인덱스를 시작 y좌표인 y0 순서로 정렬함
- 렌더링 중에는 현재 주사선과 겹치는 객체만 활성 리스트에 유지함
- 각 주사선에서 y1 = y인 객체를 제거하고 y0 = y인 객체를 추가하며, 활성 리스트 내부는 디스플레이 객체 순서를 유지함
- 활성 객체마다 render 메서드를 호출함
- 객체가 활성 리스트에 들어오고 나갈 때 start와 end 메서드를 호출함
- 임시 메모리 할당과 렌더링 준비에 사용할 수 있으며, 빠르고 결정적으로 동작하는 전용 비트맵 할당기가 있음
- 불투명 구간을 추적해 나중에 덮어쓸 픽셀의 렌더링을 생략하는 최적화는 계획 중이며, 현재 텍스트 렌더링 기법의 필수 요소는 아님
- 텍스트 객체에는 문자당 1바이트인 문자열, 글꼴 포인터, 전경색과 배경색을 저장함
- 이전 구현은 확장된 텍스트 데이터를 디스플레이 리스트에 저장했으나, 화면을 텍스트로 채우면 메모리 부담이 너무 컸음
- start는 JIT 코드와 1bpp 중간 버퍼용 임시 공간을 할당하고 문자열을 코드로 변환함
- render는 생성된 코드를 실행해 1bpp 버퍼를 채운 뒤, 두 번째 단계에서 16bpp RGB565로 확장함
- RGB565 확장 단계는 지속적으로 픽셀당 1.75사이클에 동작함
- 글꼴의 실제 픽셀은 글꼴 높이와 같은 높이의 가로로 긴 비트맵에 조밀하게 저장함
- 각 글리프가 32픽셀 청크 경계를 넘지 않게 배치하므로, 글리프 한 행을 한 번의 32비트 로드로 읽을 수 있음
- 좌우 공백은 비트맵에 넣지 않고 글리프별 메타데이터에 저장함
- 압축 알고리듬은 글리프 간 중첩도 찾아 픽셀을 공유하며, 글꼴 비트맵 크기를 1,140바이트에서 960바이트로 축소함
- {][}처럼 겹쳐 배치할 수 있는 조합을 활용하며, 다른 글리프 안에 포함되는 형태는 별도로 저장할 필요가 없음
- l은 U의 왼쪽 부분과 같고, 0은 괄호 사이 공백을 없앤 ()와 동일함
- 영상 출력 속도로 렌더링할 때 플래시 접근이 정체를 일으킬 수 있어 글꼴 비트맵은 SRAM에 둬야 함
- 커닝을 제외한 글리프 메타데이터는 비트맵 내 x위치, 실제 픽셀 폭, 왼쪽 여백, 다음 글자로 이동할 거리의 네 필드를 32비트 정수 하나에 압축함
- 생성 코드의 레지스터 역할은 다음과 같음
- r0: 압축 글꼴 비트맵의 현재 행 시작 주소
- r1: 한 주사선 분량의 1bpp 출력 버퍼
- r2: 출력 비트맵 누산기
- r3: r4에서 추출한 단일 글리프 비트
- r4: 글꼴 비트맵에서 읽은 32비트
- 기본 경로는 ldr → ubfx → orr 로 구성됨
- 글꼴 데이터를 읽고, 필요한 비트 필드를 추출한 뒤, 출력 위치에 맞춰 시프트해 누산기에 합침
- 출력 워드가 완성되면 stmia r1!, {r2}로 저장하고, 글리프가 출력의 32비트 경계를 넘는 경우에는 추가 처리를 수행함
- 경계 처리의 구체적인 구현은 text.sy에 있음
- ldr 직후 ubfx가 결과를 사용하면서 생기는 지연은 글리프 사이 명령어 재배치로 제거함
- 글리프 i의 마지막 명령어를 글리프 i + 1의 첫 ldr 뒤로 옮겨 지연 슬롯을 채움
- 기본 글리프 처리 비용이 4사이클에서 3사이클로 줄어듦
- 코드 생성기는 압축 메타데이터에서 비트/워드 오프셋, 픽셀 폭, 왼쪽 여백, 이동 거리를 추출해 명령어를 구성함
- 출력 워드 경계를 넘지 않는 기본 생성 루프는 글리프당 23사이클임
- ubfx와 orr 명령어 구성에는 조회 테이블을 사용함
- symbolasm 분석 도구는 기계어, ARM 어셈블리, 사이클 수를 함께 보여주며 관련 정보는 LSP에서도 제공함
- K는 분기 직전 사이클에야 조건이 확정되어 지연이 생길 수 있음을 나타냄
- 예시의 0/2는 분기하지 않으면 0사이클, 분기하면 2사이클이며 해당 두 분기는 더 최적화할 수 없음
- H는 상위 레지스터 r8~r15 사용 때문에 명령어가 16비트가 아닌 32비트임을 나타냄
- 기본 비용은 글리프당 JIT 23사이클, 비트맵 생성은 3사이클 × 높이임
- 출력 폭 32비트마다 JIT 약 20사이클과 실행 시 2사이클 × 높이가 추가됨
- vic-2350 텍스트 데모는 JIT 약 21,000사이클, 생성 코드 실행 약 42,000사이클을 사용함
- 합계는 RP2350 단일 코어 가용 처리량의 약 2.6%이며, RGB565 확장 비용은 이보다 약 3배 큼
- 이 기법은 프레임버퍼, 특히 1bpp 프레임버퍼에도 적용할 수 있음
- 코드를 생성한 다음 주사선마다 실행하면 됨
- JIT 결과 캐시보다 RAM 절약을 우선함
- 생성 코드가 입력 문자열보다 약 10배 커지는 반면, JIT 컴파일 비용은 작음
- 실제 vic-2350에서는 해당 영상 주사선 출력까지 100μs도 남지 않은 시점에 JIT 컴파일러가 실행됨
- 기존 RP2350 텍스트 렌더러와의 직접 성능 비교 자료는 찾지 못했음
- 가장 가까운 사례는 Michael Bell이 만들고 Adafruit가 포크한 dvhstx로, 전체 비용이 픽셀당 약 2~2.5사이클임
- 다만 14×24 격자로 제한되고 RGB222를 사용해 출력 대역폭이 절반이며, 출력이 처리 시간의 대부분을 차지하므로 동일 조건 비교는 아님
- 불규칙한 글자 간격을 줄이되 복잡한 OpenType 커닝보다 간단하고 효율적인 방식으로 구현하기 위해 내적 기반 커닝을 사용함
- GPU에서 텍스트 배치를 처리하려던 아이디어에서 출발함
- 각 글리프에 왼쪽과 오른쪽 비트 벡터를 하나씩 저장함
- 앞 글리프의 오른쪽 벡터와 뒤 글리프의 왼쪽 벡터를 AND한 후, popcount로 1인 비트 수를 세면 커닝할 픽셀 수가 됨
- 비트를 0과 1로 해석하면 두 벡터의 내적과 같으며, 테이블 크기는 글리프당 2바이트임
- 커닝 계산은 빠르지만 디스플레이 리스트 구성 시점에 수행해 주사선 렌더링 경로에서 제외함
- 커닝 값이 0이 아니면 텍스트 객체 문자열에 특수한 음수 공백 문자를 삽입함
- 이 글꼴의 커닝 테이블은 수작업으로 만들었으며, 각 비트는 특정한 형태적 특징을 나타냄
- 비트 0은 앞 글리프의 오른쪽 위 돌출부와 다음 글리프의 왼쪽 위 빈 공간에 대응함
- T, Y의 오른쪽과 대부분 소문자 및 A의 왼쪽에 이 비트를 설정함
- 다른 방식으로 준비된 커닝 정보를 변환하는 등 테이블 제작을 자동화하는 도구를 구상할 수 있음
- 일반 글꼴로의 확장은 가능성이 있지만 아직 구현하지 않음
- 비트와 정수 커닝 값 대신 적절히 양자화한 연속값 벡터를 사용하고, 곱셈 후 합산 전에 비선형 단계를 추가하는 방식을 고려함
- GPU는 내적을 매우 효율적으로 처리하지만 OpenType 테이블의 인덱스를 따라가는 작업에는 그렇지 않다는 점이 탐색 동기임
- 현재 비트맵 글꼴에서는 커닝으로 품질이 상당히 개선됨
- 이번 작업은 수작업으로 작성된 pico-dvi-rs의 텍스트 렌더링을 개선한 것임
- JIT 핵심 초안은 Rust로 직접 작성한 뒤 Claude로 symbolasm 변환, 개선, 최적화를 수행함
- symbolasm 컴파일러와 분석 도구도 초기 수작업 버전에서 발전했으나 LLM의 도움을 많이 받았으며, 블로그 본문은 직접 작성함
- 미세 타이포그래피 실험도 수행했지만, LLM 생성 콘텐츠 비중이 높아지는 점 등을 이유로 포함하지 않음
- 이 작업에서 Claude는 JIT 초안의 경계 사례를 쉽게 찾아냈음
- 개발 경험상 LLM을 신중하게 사용하면 품질을 개선할 수 있지만, 품질과 개발 가속 사이의 균형은 여전히 고민거리임
-
텍스트 렌더링에 JIT를 직접 적용한 선례
- 텍스트 렌더링에 JIT를 직접 적용한 선례는 많이 찾지 못했음
- 일반적인 JIT 연구는 방대하며, 1982년경 Blit)에서는 bitblt용 코드를 즉석 생성했음
- 관련 자료인 Bitmap Graphics SIGGRAPH 84는 초당 약 2,500자를 기록함
- Blit 프레임버퍼와 같은 1bpp 출력만 계산하면, 이번 RP2350 구현의 원시 처리 성능은 그보다 약 1,000배 높음