← 목록으로

공백 문자인지 확인하는 일이 얼마나 어려울까?

요약
  • 공백 문자는 Unicode 표준과 프로그래밍 언어마다 판정 기준이 달라 단순한 비교만으로는 정확한 판별이 어렵습니다.
  • Google의 Guava 라이브러리는 이를 효율적으로 처리하기 위해 완전 해시 함수를 도입하여 공백 문자를 판별합니다.
  • 이는 단순 판별기에서 시작해 최적화된 알고리즘으로 발전해 온 기술적 사례를 보여줍니다.
  • 공백 판별은 단순한 c == ' ' 비교로 끝나지 않으며, Unicode의 25개 공백 문자와 런타임별 판정 기준을 구분해야 함
  • Java, Python, JavaScript는 같은 문자도 다르게 판정함. 줄바꿈 없는 공백, 제어 문자, 너비 없는 문자 등의 포함 여부가 서로 다름
  • Unicode의 공백 정의도 변함. Unicode 6.3에서 MONGOLIAN VOWEL SEPARATOR가 제외되면서 공백 집합이 26개에서 25개로 줄었고, 이런 변경은 하위 호환성을 중시하는 라이브러리에 부담이 됨
  • Guava는 완전 해시 함수(perfect hash function) 로 공백 문자를 32칸 테이블에 배치하고, 곱셈과 비트 시프트, 문자 비교로 포함 여부를 검사함
  • Guava의 구현은 단순한 판별기에서 나눗셈을 사용하는 방식을 거쳐 완전 해싱으로 발전했으며, 작은 함수의 내부를 살펴보는 것만으로도 Unicode와 최적화 기법을 함께 탐구할 수 있음
공백은 반드시 빈칸처럼 보이지 않음
  • Google의 Java 라이브러리 Guava의 공백 판별 함수는 단순한 스페이스 비교보다 복잡하며, 그 출발점은 무엇을 공백으로 볼 것인가임
  • Unicode의 White_Space 속성은 25개 문자를 포함함
    • 익숙한 예로 SPACE (U+0020), NO-BREAK SPACE (U+00A0), CHARACTER TABULATION (U+0009), LINE FEED (U+000A)가 있음
    • FIGURE SPACE (U+2007)는 표의 숫자 한 자리와 같은 너비를 가지며, THIN SPACE (U+2009)와 HAIR SPACE (U+200A)는 차례로 더 좁은 간격을 만듦
    • NO-BREAK SPACE는 일반 스페이스와 같은 너비지만, 줄을 바꿀 때 양쪽 텍스트가 함께 유지되도록 함
  • 이름이나 모양만으로 공백 속성을 판단할 수는 없음
    • ZERO WIDTH SPACE (U+200B)는 이름과 달리 공백 문자가 아니라 서식 문자이며, 눈에 보이는 간격 없이 단어나 줄을 나눌 수 있는 위치를 나타냄
    • OGHAM SPACE MARK (U+1680)는 공백 문자이지만, 중심선이 있는 Ogham 글꼴에서는 글자 사이를 잇는 수평선으로 보일 수 있음. 중심선이 없는 글꼴에서는 빈칸으로 나타남
Java, Python, JavaScript의 서로 다른 기준
  • Java의 Character.isWhitespace(char)는 Unicode 속성이 아니라 Java의 공백 정의를 따름
    • 일반 스페이스는 true지만, Unicode 공백인 NO-BREAK SPACE (U+00A0)는 false임
    • 이 문자와 함께 다른 두 개의 줄바꿈 없는 공백도 명시적으로 제외함
  • Python의 str.isspace() 는 U+00A0를 공백으로 인정하지만, Unicode의 집합을 그대로 따르지는 않음
    • U+00A0, U+0085, U+001C에는 True, U+FEFF에는 False를 반환함
    • FILE SEPARATOR (U+001C)는 원래 정보를 구분하기 위한 ASCII 제어 문자이며, Unicode의 White_Space에는 속하지 않음
    • Python이 공백으로 인정하는 문자는 Unicode의 25개보다 많은 29개임
  • JavaScript에는 Character.isWhitespace()에 해당하는 메서드가 없지만, 정규식의 \s 문자 클래스로 검사할 수 있음
    • /\s/.test("\u00A0")는 true, U+0085는 false, U+FEFF는 true임
    • Unicode와 Python이 인정하는 NEXT LINE (U+0085)는 제외하는 대신, Unicode 공백 집합에 없는 ZERO WIDTH NO-BREAK SPACE (U+FEFF)를 인정함
Unicode 버전이 바뀌면 공백 집합도 바뀜
  • Unicode 6.3은 MONGOLIAN VOWEL SEPARATOR (U+180E) 를 공백 구분자에서 서식 문자로 재분류하고 White_Space 속성을 제거함
  • 이 변경으로 Unicode 공백 집합은 26개에서 25개로 줄어듦. 표준 라이브러리의 안정성과 하위 호환성을 유지하려는 런타임과 라이브러리에는 이런 정의 변경이 상당한 과제가 될 수 있음
Guava의 완전 해시 기반 공백 판별
  • 현재 Unicode 공백 집합을 기준으로 삼더라도, 모든 문자를 순서대로 비교하는 방법은 동작하지만 가장 효율적인 접근은 아님
  • Guava의 구현은 알려진 공백 집합 안에서 충돌이 없는 완전 해시 함수를 사용함
static final String TABLE = "\u2002..."; @Override public boolean matches(char c) { int slot = (1682554634 * c) >>> 27; return TABLE.charAt(slot) == c; }
  • TABLE은 길이 32의 문자열로, 인덱스를 키로 하고 문자를 값으로 하는 해시 테이블 역할을 함
    • Unicode 공백 25개를 모두 포함하고, 남는 위치는 일부 문자를 중복해서 채움
  • (1682554634 * c) >>> 27 은 곱셈 결과의 상위 5비트를 테이블 인덱스로 사용함
    • 곱셈 결과는 32비트 정수이며, 부호 없는 오른쪽 시프트로 0 이상 32 미만의 값을 얻음
    • 가능한 입력 문자는 테이블 칸보다 많으므로, 마지막에 TABLE.charAt(slot) == c를 비교해 실제로 찾던 문자인지 확인해야 함
  • 곱셈 상수 1682554634의 선정 경위는 확인되지 않았으며, 사용할 수 있는 유일한 상수도 아님
    • 후보 상수마다 공백 25개의 인덱스를 계산하고, BitSet(32)로 충돌을 검사하는 완전 탐색으로 적합한 상수들을 찾을 수 있음
구현의 발전 과정과 다른 활용 사례
  • Guava의 Git 이력에서는 단순 판별기 → 나머지 연산 기반 구현 → 완전 해시 함수로 이어지는 변화를 확인할 수 있음
    • mod-79 구현은 Unicode 문자 집합의 특성을 활용했지만, 나눗셈 연산이 필요하다는 단점이 있었음
    • 이후 완전 해시 함수 구현으로 바뀜
  • Daniel Lemire의 조회 테이블 관련 글에서는 HTTP 메서드 검사에 완전 해싱을 사용하는 사례를 볼 수 있음
작은 함수의 내부를 탐구하고 공유하기
  • Guava의 공백 판별 코드는 Unicode의 정의와 런타임 차이, 실제 코드에서 흔히 보기 어려운 완전 해시 함수의 활용을 함께 살펴볼 수 있는 사례임
  • AI를 우선하는 환경에서 isWhitespace처럼 단순해 보이는 함수의 내부를 들여다보고 경험을 공유하는 글이 드물어지는 듯해 아쉬움이 남음. 호기심에서 출발한 탐구를 블로그로 공유하자고 권함
그냥 목록으로
원문 보기 ↗