광센서와 이셀레늄화텅스텐(WSe2) 트랜지스터를 결합한 인-센서 영상처리 시스템의 작동 원리. 그림에서 광센서가 받아들인 빛의 세기에 따라 이셀레늄화텅스텐 트랜지스터가 영상 신호를 다르게 조절해 약한 노이즈는 줄이고 글자를 이루는 강한 신호는 비교적 유지한다. GIST 제공 사람 망막의 작동 원리에서 착안해 빛의 세기에 따라 신호를 조절하며 영상을 더욱 선명하게 만드는 기술이 개발됐다. 영상처리 일부를 카메라 센서에서 바로 수행해 인식 정확도를 향상하는 원리다.광주과학기술원(GIST)은 강동호 반도체공학과 교수와 오세용 한양대 에리카캠퍼스 전자공학부 교수팀이 카메라에 들어오는 빛의 세기에 따라 명암 차이를 키워 영상을 선명하게 만드는 반도체 기술을 개발했다고 1일 밝혔다. 연구결과는 9월 14일(현지시간) 국제학술지 '어드밴스드 펑셔널 머티리얼즈'에 공개됐다.
일반 카메라는 촬영한 영상을 별도의 처리장치(프로세서)로 보내 대비를 높이거나 노이즈(잡음)를 제거한다. 센서가 빛을 감지하는 동시에 영상처리 일부를 수행하는 '인-센서 영상처리'는 외부 처리장치로 보낼 데이터양을 줄여 전력 소모와 처리 지연을 개선하는 기술이다.
연구팀은 사람 망막의 신호 억제 기능에 주목했다. 망막은 일부 시각 신호를 억제해 밝고 어두운 부분의 차이를 두드러지게 만들고 물체의 윤곽을 구분한다.
매우 얇은 2차원 반도체인 이셀레늄화텅스텐(WSe2)을 이용해 망막의 신호 억제 기능을 구현하는 트랜지스터 소자를 개발했다. 트랜지스터는 빛이 약할 때 신호를 줄이고 빛이 강할 때는 유지해 영상의 대비를 높인다.
광센서와 트랜지스터를 연결해 광센서가 빛을 받아 생성한 전기 신호에 따라 트랜지스터의 작동 상태가 달라지도록 연계했다. 별도의 조명 조건 판단 없이 신호 감소를 자동으로 조절한다.
실제 실험에서 알파벳 G 모양의 신호에 약한 노이즈를 섞어 광센서에 입력하자 글자를 구성하는 강한 신호는 유지되고 주변의 노이즈는 줄어 글자의 윤곽이 뚜렷해졌다.
인-센서 영상처리에 따른 인공지능 문자 인식 성능 향상 개요. (a) 그림은 깨끗한 문자 이미지로 인공지능을 학습시킨 뒤 노이즈가 포함된 문자 이미지를 이번 기술로 처리해 인식하는 과정을 보여준다. (b)는 노이즈가 포함된 이미지를 그대로 입력했을 때보다 인-센서 영상처리를 거친 뒤 인식 정확도가 크게 높아진 실험 결과를 보여준다. GIST 제공 비나 안개 등으로 영상에 노이즈가 생기는 상황을 시뮬레이션으로 평가했다. 흐려진 차량 번호판의 문자 이미지를 인공신경망(ANN)이 인식하는 과제다.실험 결과 문자 이미지를 학습한 인공지능(AI)에 노이즈가 포함된 이미지를 그대로 입력했을 때 인식 정확도는 47.7%였지만 같은 이미지에 개발된 영상처리를 적용한 뒤 입력하자 정확도가 97.3%까지 높아졌다.
이번 연구결과를 상용화하려면 대면적 소자 제작과 광센서 집적을 통한 대규모 시스템 확장이 필요하다.
강 교수는 "들어오는 빛의 세기 자체를 이용해 별도의 조명 조건 판단 없이 픽셀 단위에서 영상 신호를 조절했다"며 "자율주행과 같이 실시간 영상 전처리 기능이 필요한 초저전력·고성능 AI 반도체 개발에 중요한 기반이 될 것"이라고 밝혔다.
연구 성과의 기술사업화에 관심 있는 기업이나 기관은 GIST 창업혁신진흥원 기술사업화센터(hgmoon@gist.ac.kr)에 문의하면 된다.
<참고 자료>
- doi.org/10.1002/adfm.78443
왼쪽부터 강동호 GIST 반도체공학과 교수, 오세용 한양대 ERICA 전자공학부 교수, 백주환 GIST 전기전자컴퓨터공학과 석박사통합과정생, 오준화 한양대 ERICA 전자공학부 석박사통합과정생. GIST 제공