- H.264는 덜 중요한 시각 정보를 버리는 손실 압축, 프레임 사이의 움직임을 활용하는 예측, 무손실 엔트로피 부호화를 결합해 영상 전송에 필요한 데이터량을 줄임
- Apple 홈페이지를 캡처한 예시에서 300프레임짜리 5초 영상은 175KB인 반면, PNG 스크린샷 한 장은 1015KB임
- 양자화로 미세한 디테일을 줄이고, 색차 서브샘플링으로 밝기보다 사람의 눈이 덜 민감한 색상 정보의 해상도를 낮춤
- 움직임 보상은 매 프레임 전체를 저장하는 대신 기준 프레임과 블록의 움직임을 활용하며, 저장 공간을 줄이는 대신 프레임 복원에 계산이 필요함
- 마지막으로 엔트로피 부호화가 남은 중복을 무손실로 제거하며, 예시 영상은 비압축 계산값 약 1.2GB에서 175KB로 줄어듦
- H.264는 동영상 전송 대역폭을 줄이려는 30년 이상의 연구가 축적된 영상 압축 표준임
- 2016년 기준 인터넷 영상, Blu-ray, 휴대전화, 보안 카메라, 드론 등에 널리 쓰임
- 여기서 다루는 여러 개념은 H.264뿐 아니라 영상 압축 전반에 적용됨
- 비압축 영상은 프레임별 2차원 픽셀 배열을 시간축으로 쌓은 데이터이며, RGB 각 성분에 1바이트씩 쓰면 픽셀당 3바이트가 필요함
- 1080p, 60Hz 영상은 1920 × 1080 × 60 × 3으로 약 370MB/초가 발생함
- 50GB Blu-ray에도 약 2분밖에 담지 못하며, 전송뿐 아니라 RAM에서 디스크로 기록하는 일도 부담이 큼
- 저장 장치 성능은 SSD 벤치마크를 참고할 수 있음
- Apple 홈페이지를 캡처한 PNG 스크린샷은 1015KB, 같은 페이지의 5초, 60fps H.264 영상은 175KB임
- 영상은 300프레임인데 파일은 단일 PNG의 약 5분의 1이므로, 프레임 수와 파일 크기만 비교하면 약 1500배 효율적으로 보임
- 이 차이를 이해하려면 손실 압축과 무손실 압축을 구분해야 함
- PNG는 원본을 비트 단위로 복원할 수 있는 무손실 형식임
- H.264는 덜 중요한 정보를 버리고 중요한 정보를 남기는 손실 압축을 사용함
- H.264는 화면의 특정 사분면이나 테두리를 잘라내는 대신 미세한 디테일 정보를 줄임
- MacBook Pro 확대 예시에서는 압축 후 스피커 그릴의 작은 구멍이 사라짐
- 확대하지 않으면 차이를 알아보기 어렵지만, 해당 예시의 크기는 원본의 7% 임
- 정보 엔트로피는 단순한 데이터 크기가 아니라, 그 안의 정보를 표현하는 데 필요한 최소 비트 수를 뜻함
- 단순화한 동전 던지기 예시에서 결과 한 번에는 1비트, 두 번에는 2비트가 필요함
- 앞면이 10번 나온 결과를 하나씩 나열하는 대신 “10번 모두 앞면”으로 표현하면 같은 정보를 더 짧게 나타낼 수 있음
- 이런 표현 변환은 정보 엔트로피를 바꾸지 않고 중복성을 줄이며, 이를 수행하는 엔트로피 부호기는 범용 무손실 부호기임
- 주파수 영역에서는 이미지의 밝기 등을 공간 좌표 x-y 대신 주파수 좌표 freqX-freqY로 표현함
- 이진수와 16진수가 같은 값을 다른 형태로 나타내듯, 표현의 기저를 바꾸는 방식임
- 충분히 높은 주파수까지 포함하면 무손실 변환이 가능하며, 관련 참고 자료로 Nyquist-Shannon 표본화 정리가 있음
- 미세하게 변하는 디테일은 고주파 성분, 완만한 색상이나 밝기 변화는 저주파 성분에 해당함
- 예시 주파수 이미지에서는 저주파가 중앙에, 고주파가 가장자리 쪽에 위치함
- 가장자리를 마스킹하고 공간 좌표로 되돌리면 전체 모습은 비슷하지만 미세한 디테일이 줄어듦
- 마스크 크기로 남길 디테일의 양을 조절할 수 있으며, 확대 예시에서는 정보 엔트로피가 원본의 2%인 경우에도 확대하지 않으면 차이를 알아보기 어려움
- 이처럼 정보를 줄이는 과정이 양자화?ref=sidbala.com) 이며, 여기서는 세부 기술을 크게 단순화함
- 사람의 눈과 뇌는 밝기의 미세한 변화에는 민감하지만, 색상의 미세한 변화는 상대적으로 잘 구분하지 못함
- TV 신호에서는 RGB를 YCbCr로 변환함
- Y는 밝기, Cb와 Cr은 색차 성분이며, RGB와 YCbCr은 정보 엔트로피 측면에서 동등함
- 흑백 TV가 Y만 사용하고 컬러 TV는 색차 성분까지 받아 RGB로 변환하도록 구성해, 별도 데이터 스트림 없이 두 종류의 TV를 지원함
- 색차 서브샘플링은 Y를 전체 해상도로 유지하면서 Cb와 Cr을 각각 4분의 1 해상도로 부호화하는 방식임
- 이 예시에서는 시각적 차이를 작게 유지하면서 전체 대역폭을 절반으로 줄임
- H.264만의 기술은 아니며, 이미 수십 년 동안 널리 사용된 방식임
- 양자화와 색차 서브샘플링은 한 프레임 내부의 공간적 정보를 줄이고, 다음 단계는 여러 프레임에 걸친 시간적 중복을 활용함
- 움직임 보상은 고정된 배경을 반복 저장하지 않고 움직이는 부분을 활용함
- 고정 카메라로 촬영한 테니스 경기에서 코트와 네트 등의 배경은 그대로이고 공만 움직이는 상황을 예로 들 수 있음
- H.264는 이미지를 보통 16×16픽셀 매크로블록으로 나눠 움직임을 추정하고, 프레임 종류에 따라 다른 방식으로 부호화함
- I-frame은 해당 프레임을 구성하는 데 필요한 정보를 담은 완전한 프레임임
- P-frame은 이전 프레임을 기준으로 매크로블록의 움직임 벡터를 부호화하며, 복호기는 마지막 I-frame부터 이후 프레임의 변화를 적용해 현재 프레임을 구성함
- B-frame은 과거 프레임과 미래 프레임을 양방향으로 참조해 예측함
- Apple 홈페이지 영상은 I-frame 3개와 매크로블록의 이동을 활용하므로, 약 300개 프레임 전체를 각각 저장할 필요가 없음
- 움직임 정보 중심의 저장은 공간 효율이 높지만 복원 계산 비용이 발생함
- YouTube에서 이미 버퍼링한 구간으로 되감아도, 가까운 I-frame부터 선택한 프레임까지 다시 계산해야 하므로 잠깐 멈출 수 있음
- 손실 압축을 거친 I-frame에도 중복 정보가 남고, P/B-frame의 움직임 벡터에도 반복값이 생김
- 예시 영상처럼 화면이 이동하면 여러 매크로블록이 같은 양만큼 움직이므로 벡터 값이 반복됨
- 마지막 엔트로피 부호화가 이런 중복을 제거함
- 범용 무손실 처리이므로, 이 단계에 입력된 데이터는 모두 복원할 수 있음
- 예시 영상의 원래 해상도는 1232×1154, 길이는 5초, 프레임률은 60fps임
- 비압축 RGB 크기는 1232 × 1154 × 60 × 3 × 5로 약 1.2GB임
- 압축 영상은 175KB이며, 같은 비율을 3000파운드 자동차에 적용하면 약 0.4파운드, 6.5온스에 해당함
- 이 과정은 수십 년간의 연구를 크게 단순화한 개요이며, 더 자세한 내용은 H.264/MPEG-4 AVC 문서 에서 확인할 수 있음