서울대학교 공과대학은 전기정보공학부 박재형 교수 연구팀이 증강현실(AR) 환경의 사실감을 한층 더 향상시킨 폐색 기반의 홀로그래픽 AR 디스플레이를 개발했다고 밝혔다.

연구진은 홀로그래픽 디스플레이와 폐색 광학 시스템을 결합시켜 AR 환경의 사실감을 높이는 성과를 거뒀다. 더 나아가 불투명한 3차원 가상 영상과 광학적으로 형성된 가상 그림자를 구현함으로써 가상 영상이 실제 환경과 상호작용하는 시각 효과를 재현했다.

또한 AR 환경의 영상이 전체 공간이 아니라 가상 객체 주변에 집중되는 특성에 주목해 희소 홀로그래픽 영상* 구현에 최적화된 인공지능(AI) 기반 홀로그램 생성 알고리즘도 선보였다.

* 희소 홀로그래픽 영상 : 전체 영상 공간 중 일부 영역에만 시각 정보가 존재하는 홀로그램

이번 연구 결과는 지난 10월 7일 독일 출판사 ‘와일리-VCH(Wiley-VCH)’가 발간하는 광학 분야의 국제 저명 학술지 ‘레이저 앤 포토닉스 리뷰’ 내부 표지 논문으로 게재됐다.

연구 배경

스마트폰을 잇는 차세대 스마트 디바이스로 각광받는 AR 글래스는 글로벌 기업들의 적극적 투자로 빠르게 발전하고 있다. 그러나 현재 상용화되거나 공개된 AR 글래스들은 가상 영상이 실사 객체를 가리는 ‘폐색 효과’를 구현하지 못하는 한계를 지닌다. 사람이 깊이감을 인지하는 핵심 단서인 폐색 효과가 없으면 항상 가상 영상이 실사 세계와 반투명하게 겹쳐 보인다. 그 결과, AR 환경의 사실감과 사용자의 몰입감이 크게 저하된다.

또한 기존 AR 글래스는 단안(單眼) 깊이 정보는 고정한 채 오직 양안(兩眼) 간의 시차로만 3차원 영상을 재현하기 때문에 양안과 단안 사이의 ‘깊이 정보 차이(VAC)’를 발생시킨다. 이로 인해 사용자가 쉽게 피로해지고 어지러움을 느끼게 되는 문제는 AR 글래스를 비롯한 얼굴 착용형 근안(near eye) 디스플레이의 대중화를 가로막는 걸림돌로 지적돼 왔다.

이 문제를 해결하기 위한 기존 연구에서는 실사 세계의 빛을 선택적으로 차단하는 폐색 광학계를 디스플레이 앞단에 추가해 불투명한 가상 영상을 구현하거나 홀로그래피·라이트필드·가변 초점 기술 등을 이용해 단안 3차원 영상을 재현하는 방식이 시도됐다. 그러나 폐색 효과와 3차원 영상 구현을 동시에 달성하는 연구는 아직 기초 단계에 머물러 있어 AR 환경의 시각적 사실감을 높이기 위해서는 보다 심층적인 연구가 필요한 실정이었다.

연구 성과

이에 박재형 교수 연구팀은 이상적인 3차원 영상을 재현할 수 있는 홀로그래픽 AR 디스플레이와 실제 배경을 광학적 방식으로 가릴 수 있는 광학폐색 광학 시스템을 결합시켜 가장 사실적인 AR 환경을 구현하는 홀로그래픽 AR 디스플레이를 개발했다.

먼저 연구진은 홀로그래픽 디스플레이의 잡음 정보 제거를 위해 활용되는 4f 시스템 기반의 푸리에 필터 구조*와 폐색 광학 시스템의 구조가 동일하다는 사실에 주목했다. 이에 단일 4f 시스템 내부에 배치된 단일 DMD*를 푸리에 필터 및 폐색 마스크로 사용하고, 시간 다중화 기법을 활용해 폐색과 노이즈 정보 제거를 하나의 시스템으로 수행했다.

* 푸리에 필터 구조 : 복잡한 영상을 주파수 성분으로 분석해 영상의 잡음을 선택적으로 제거하거나 보정하는 광학적 구조
* DMD : 수많은 미세 거울로 구성된 반사형 광학 소자. 홀로그래픽 디스플레이 영상의 밝기와 패턴을 빠르게 조절하는 데 사용된다.

한 걸음 더 나아가 고정된 기존의 푸리에 필터와 달리 다이내믹한 동작이 가능한 DMD의 특성을 AI 기반 홀로그램 생성 알고리즘에 반영했다. 이를 통해 옵티마이저의 탐색 공간을 크게 줄여 동일한 조건에서 희소 홀로그래픽 영상의 PSNR*을 기존 알고리즘보다 평균 11데시벨(dB) 향상시키는 데 성공했다. 또한 시간 다중화 기법을 활용해 홀로그래픽 영상의 품질을 떨어뜨리는 스페클 노이즈*를 억제하고, 화각도 2배 확장했다.

* PSNR : 원본 대비 재현된 영상의 신호 대 잡음비. 영상이나 영상 재구성의 품질을 평가하는 지표로, 값이 높을수록 영상 품질이 우수함을 의미한다.
* 스페클 노이즈 : 미세한 간섭 패턴이 영상에 나타나는 점무늬 잡음 현상

또한 연구팀은 제안된 시스템을 기반으로 벤치톱 프로토타입*을 제작해 가상 영상이 실제 배경을 가리는 불투명한 3차원 AR 영상을 재현했다. 더 나아가 폐색 효과를 활용해 가상의 물체가 현실 세계에 그림자를 드리우는 AR 장면도 재현했다. 실험 결과, 폐색 효과가 적용되지 않은 기존 AR 환경에 비해 명암비와 선명도가 대폭 향상돼 현실 배경의 간섭이 없는 고대비·고품질의 3D AR 장면을 세계 최초로 구현하는 데 성공했다.

* 벤치톱 프로토타입 : 상용화 이전 단계에서 시스템 성능과 작동 원리의 검증을 위해 제작하는 소형 시험용 장치

기대 효과

이번 연구는 가상 영상이 실제 환경과 광학적으로 상호작용하는 진정한 의미의 AR을 구현했다는 점에서 큰 의의를 지닌다. 제안된 기술은 가상 물체가 현실 세계의 빛을 선택적으로 차단하고 그림자를 드리우는 등 인간의 시지각에 자연스러운 AR 환경을 구현할 수 있는 차세대 디스플레이 기술로 자리매김할 전망이다.

또한 이번 성과는 소프트웨어적 방법에 주로 의존하던 기존의 홀로그램 생성 최적화 방식에서 벗어나 동적으로 동작하는 푸리에 필터를 알고리즘 구조에 직접 통합함으로써 물리적 장치를 통해 알고리즘 성능을 높이는 새로운 방향성을 제시했다는 평가를 받는다. 이처럼 하드웨어와 알고리즘의 공동설계(co-design) 가능성을 보여주기 때문에 향후 차세대 몰입형 디스플레이에 응용될 것으로 기대된다.

연구진 의견

연구를 지도한 박재형 교수는 “이번 연구는 가상 영상이 실제 환경의 빛과 상호작용하는 새로운 형태의 AR 구현 가능성을 선보였다”며 “앞으로도 광학과 AI를 융합한 연구를 통해 보다 자연스럽고 몰입감 있는 시각 경험을 제공하는 차세대 디스플레이 기술을 개발해 나가겠다”고 밝혔다.

연구진 진로

이번 논문의 제1저자인 한웅섭 연구원은 서울대학교 전기정보공학부에서 박사과정을 밟고 있으며, AR·VR(가상현실) 근안 디스플레이 및 차세대 3차원 디스플레이 관련 연구를 이어가고 있다. 졸업 후 국내외 연구소 및 기업에서 차세대 몰입형 디스플레이 분야의 광학설계 개발자로 근무할 예정이다.