- 공백 판별은 단순한 c == ' ' 비교로 끝나지 않으며, Unicode의 25개 공백 문자와 런타임별 판정 기준을 구분해야 함
- Java, Python, JavaScript는 같은 문자도 다르게 판정함. 줄바꿈 없는 공백, 제어 문자, 너비 없는 문자 등의 포함 여부가 서로 다름
- Unicode의 공백 정의도 변함. Unicode 6.3에서 MONGOLIAN VOWEL SEPARATOR가 제외되면서 공백 집합이 26개에서 25개로 줄었고, 이런 변경은 하위 호환성을 중시하는 라이브러리에 부담이 됨
- Guava는 완전 해시 함수(perfect hash function) 로 공백 문자를 32칸 테이블에 배치하고, 곱셈과 비트 시프트, 문자 비교로 포함 여부를 검사함
- Guava의 구현은 단순한 판별기에서 나눗셈을 사용하는 방식을 거쳐 완전 해싱으로 발전했으며, 작은 함수의 내부를 살펴보는 것만으로도 Unicode와 최적화 기법을 함께 탐구할 수 있음
- Google의 Java 라이브러리 Guava의 공백 판별 함수는 단순한 스페이스 비교보다 복잡하며, 그 출발점은 무엇을 공백으로 볼 것인가임
- Unicode의 White_Space 속성은 25개 문자를 포함함
- 익숙한 예로 SPACE (U+0020), NO-BREAK SPACE (U+00A0), CHARACTER TABULATION (U+0009), LINE FEED (U+000A)가 있음
- FIGURE SPACE (U+2007)는 표의 숫자 한 자리와 같은 너비를 가지며, THIN SPACE (U+2009)와 HAIR SPACE (U+200A)는 차례로 더 좁은 간격을 만듦
- NO-BREAK SPACE는 일반 스페이스와 같은 너비지만, 줄을 바꿀 때 양쪽 텍스트가 함께 유지되도록 함
- 이름이나 모양만으로 공백 속성을 판단할 수는 없음
- ZERO WIDTH SPACE (U+200B)는 이름과 달리 공백 문자가 아니라 서식 문자이며, 눈에 보이는 간격 없이 단어나 줄을 나눌 수 있는 위치를 나타냄
- OGHAM SPACE MARK (U+1680)는 공백 문자이지만, 중심선이 있는 Ogham 글꼴에서는 글자 사이를 잇는 수평선으로 보일 수 있음. 중심선이 없는 글꼴에서는 빈칸으로 나타남
- Java의 Character.isWhitespace(char)는 Unicode 속성이 아니라 Java의 공백 정의를 따름
- 일반 스페이스는 true지만, Unicode 공백인 NO-BREAK SPACE (U+00A0)는 false임
- 이 문자와 함께 다른 두 개의 줄바꿈 없는 공백도 명시적으로 제외함
- Python의 str.isspace() 는 U+00A0를 공백으로 인정하지만, Unicode의 집합을 그대로 따르지는 않음
- U+00A0, U+0085, U+001C에는 True, U+FEFF에는 False를 반환함
- FILE SEPARATOR (U+001C)는 원래 정보를 구분하기 위한 ASCII 제어 문자이며, Unicode의 White_Space에는 속하지 않음
- Python이 공백으로 인정하는 문자는 Unicode의 25개보다 많은 29개임
- JavaScript에는 Character.isWhitespace()에 해당하는 메서드가 없지만, 정규식의 \s 문자 클래스로 검사할 수 있음
- /\s/.test("\u00A0")는 true, U+0085는 false, U+FEFF는 true임
- Unicode와 Python이 인정하는 NEXT LINE (U+0085)는 제외하는 대신, Unicode 공백 집합에 없는 ZERO WIDTH NO-BREAK SPACE (U+FEFF)를 인정함
- Unicode 6.3은 MONGOLIAN VOWEL SEPARATOR (U+180E) 를 공백 구분자에서 서식 문자로 재분류하고 White_Space 속성을 제거함
- 이 변경으로 Unicode 공백 집합은 26개에서 25개로 줄어듦. 표준 라이브러리의 안정성과 하위 호환성을 유지하려는 런타임과 라이브러리에는 이런 정의 변경이 상당한 과제가 될 수 있음
- 현재 Unicode 공백 집합을 기준으로 삼더라도, 모든 문자를 순서대로 비교하는 방법은 동작하지만 가장 효율적인 접근은 아님
- Guava의 구현은 알려진 공백 집합 안에서 충돌이 없는 완전 해시 함수를 사용함
- TABLE은 길이 32의 문자열로, 인덱스를 키로 하고 문자를 값으로 하는 해시 테이블 역할을 함
- Unicode 공백 25개를 모두 포함하고, 남는 위치는 일부 문자를 중복해서 채움
- (1682554634 * c) >>> 27 은 곱셈 결과의 상위 5비트를 테이블 인덱스로 사용함
- 곱셈 결과는 32비트 정수이며, 부호 없는 오른쪽 시프트로 0 이상 32 미만의 값을 얻음
- 가능한 입력 문자는 테이블 칸보다 많으므로, 마지막에 TABLE.charAt(slot) == c를 비교해 실제로 찾던 문자인지 확인해야 함
- 곱셈 상수 1682554634의 선정 경위는 확인되지 않았으며, 사용할 수 있는 유일한 상수도 아님
- 후보 상수마다 공백 25개의 인덱스를 계산하고, BitSet(32)로 충돌을 검사하는 완전 탐색으로 적합한 상수들을 찾을 수 있음
- Guava의 Git 이력에서는 단순 판별기 → 나머지 연산 기반 구현 → 완전 해시 함수로 이어지는 변화를 확인할 수 있음
- mod-79 구현은 Unicode 문자 집합의 특성을 활용했지만, 나눗셈 연산이 필요하다는 단점이 있었음
- 이후 완전 해시 함수 구현으로 바뀜
- Daniel Lemire의 조회 테이블 관련 글에서는 HTTP 메서드 검사에 완전 해싱을 사용하는 사례를 볼 수 있음
- Guava의 공백 판별 코드는 Unicode의 정의와 런타임 차이, 실제 코드에서 흔히 보기 어려운 완전 해시 함수의 활용을 함께 살펴볼 수 있는 사례임
- AI를 우선하는 환경에서 isWhitespace처럼 단순해 보이는 함수의 내부를 들여다보고 경험을 공유하는 글이 드물어지는 듯해 아쉬움이 남음. 호기심에서 출발한 탐구를 블로그로 공유하자고 권함