장주용 교수(전자통신공학과) 연구팀, 단일 영상으로부터 

영상에 포함된 휴먼 객체의 6자유도 헤드 포즈 추정 알고리즘 개발

- 인공 지능 분야에서 세계 최고 권위의 학술대회인 ECCV에서 발표 -

본교 전자통신공학과 장주용 교수 연구팀은 단일 영상으로부터 영상에 포함된 휴먼 객체의 6자유도 헤드 포즈(6DoF head pose)를 정확하게 추정하는 알고리즘을 개발했다.

그림 1. 기존의 헤드 포즈 추정 방법들과 개발된 방법(TRG)과의 비교

개발된 알고리즘을 통해 영상으로부터 헤드의 3차원 위치(3D location)와 3차원 회전(rotation) 정보를 획득할 수 있는데, 이는 증강/가상 현실, 메타버스, 운전자 모니터링 시스템, 휴먼-로봇 상호작용 등의 다양한 응용 분야에 활용될 수 있다. 기존의 방법들은 얼굴의 기하(face geometry) 정보를 먼저 획득한 후 영상과의 최적화를 통해 6자유도 헤드 포즈를 추정하는 단방향(unidirectional) 구조를 가지고 있다. 이러한 방법들은 얼굴의 기하 정보가 잘못 추정 된 경우 그로부터 발생하는 헤드 포즈 추정 오차를 복구할 수 없다는 단점을 가진다. 반면에 본 연구팀에서 개발된 알고리즘은 얼굴 기하 정보와 헤드 포즈를 반복적으로 개선하는 양방향(bidirectional) 구조로 설계되어 기존 방법의 한계를 극복할 수 있다(그림 1 참고). 

그림 2. 개발된 방법을 통해 획득된 6자유도 헤드 포즈의 예

실제로 얼굴 기하 복원 및 헤드 포즈 추정을 위한 다양한 공개 데이터셋들(ARKitFace, BIWI)에 대해 기존의 state-of-the-art 방법들보다 우수한 성능을 달성하였다. 그림 2는 실제 다양한 휴먼 객체를 포함하는 in-the-wild 영상들에 대해 개발된 방법으로 인해 획득된 6자유도 헤드 포즈의 예를 보여준다.

그림 3. ECCV 발표 중인 전성호 박사과정 학생

한편 해당 연구 성과는 과학기술정보통신부의 실감콘텐츠핵심기술개발사업(RS-2023-00219700) 및 기본연구(NRF-2022R1F1A1066170) 지원으로 수행되었고, 지난 10월 초 이탈리아 밀라노에서 열린 European Conference on Computer Vision(ECCV) 학회에서 발표되었다(그림 3 참고). ECCV는 1990년부터 격년으로 개최되는 학술대회로 CVPR, ICCV와 함께 컴퓨터 비전 분야뿐 아니라 전체 인공 지능 분야에서도 세계 최고 권위의 학술대회로 꼽히고 있다. ECCV는 Google Scholar 기준H5-색인206을 기록하고 있으며, 공학 및 컴퓨터과학 (Engineering & Computer Science) 전 분야에서 최고 수준의 국제 학술대회 중 하나이다. 이번 ECCV 2024에는 총 8,585개의 논문들이 제출되었고 그 중 2,395개의 논문이 채택되어 약27.9%의 낮은 채택률을 기록하였다.

논문 링크 : https://www.ecva.net/papers/eccv_2024/papers_ECCV/html/4824_ECCV_2024_paper.php