UPDATED. 2024-03-29 15:12 (금)
VR 아바타에 사용자 표정 실시간 투영 신기술 개발
VR 아바타에 사용자 표정 실시간 투영 신기술 개발
  • 박광하 기자
  • 승인 2021.09.13 17:51
  • 댓글 0
이 기사를 공유합니다

임창환 한양대 교수팀
표정등록 한번에 11개 표정 90% 정확도 인식
임창환 한양대 생체공학과 교수팀이 VR 기반 메타버스 서비스에서 사용자의 얼굴 표정을 실시간으로 아바타에 투영하는 신기술을 개발했다. [자료=한양대]
임창환 한양대 생체공학과 교수팀이 VR 기반 메타버스 서비스에서 사용자의 얼굴 표정을 실시간으로 아바타에 투영하는 신기술을 개발했다. [자료=한양대]

[정보통신신문=박광하기자]

한양대는 가상현실(VR) 기반 메타버스 서비스에서 사용자의 얼굴 표정을 실시간으로 아바타에 투영하는 신기술을 임창환 한양대 생체공학과 교수팀이 개발했다고 최근 밝혔다.

VR 기반 메타버스 서비스는 최근 미래 소셜 네트워크 플랫폼으로 각광받고 있으며, 현재 페이스북 호라이즌, vTime, AltSpaceVR, VRChat 등 다양한 VR 기반 메타버스 서비스들이 공개됐다.

기술의 발달로 초창기에 비해 화질·속도 등 많은 기능개선이 이뤄졌으나, 여전히 눈 주변이 가려지는 VR 기기 특성으로 인해 사용자의 정확한 얼굴 표정이 아바타에 투영되지 않고 이로 인해 몰입도나 현실감이 떨어진다는 한계가 지적돼왔다.

이런 문제점을 개선하고자 최근에는 VR 헤드기어와 얼굴 피부가 닿는 부위에 생체신호를 측정하는 전극을 부착하고, 표정을 지을 때 근육에서 발생되는 근전도(EMG) 신호를 실시간으로 분류하는 연구가 진행되고 있다.

하지만 안면부 근전도를 이용하는 표정 인식 기술은 특정 표정을 지을 때 발생하는 근전도 신호에 대한 데이터베이스를 미리 수집하는 과정이 필요하고, 이에 따라 최소 4회에서 10회 이상 반복적으로 표정을 등록해야 하는 번거로움이 있어 사용자들이 불편함을 겪었다.

임 교수팀은 최근 AI 분야에서 활발히 연구되고 있는 도메인적응(Domain Adaptation) 기술을 도입해 이런 불편함을 개선했다.

도메인적응은 기존 데이터로 만들어 둔 기계학습모델을 신규 정보에 적응시켜 적은 수의 데이터로도 높은 성능을 얻을 수 있는 AI 분야의 최신 기술이다.

임 교수팀은 기존 사용자의 등록데이터로 학습한 기계학습모델을 신규 사용자 데이터에 맞춰 적응시키는 방법으로 모델학습에 필요한 데이터의 양을 효과적으로 줄였다.

그 결과 한번의 표정등록만으로 11개의 얼굴표정을 약 90%의 정확도로 인식하고 실시간으로 아바타 얼굴에 반영하는 데 성공했다.

임 교수는 "훈련 데이터베이스에 없는 표정까지 복원할 수 있는 기술이나 안구 움직임과 표정 인식이 동시에 가능한 시스템의 개발도 완성 단계에 있다"며 "향후 실제 VR 기반 메타버스 서비스에 접목할 것"이라고 말했다.

임 교수팀의 이번 연구 결과는 가상현실 분야의 최고 권위지인 'Virtual Reality' 9월 3일자에 게재됐다. 해당 논문의 1저자인 차호승 박사는 2020년 9월 한양대 박사학위 취득 후, 현재 미국 조지아공대 연구원으로 근무하고 있다. 이번 연구는 삼성전자 미래기술육성센터의 지원을 받아 수행됐다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • [인터넷 신문 등록 사항] 명칭 : ㈜한국정보통신신문사
  • 등록번호 : 서울 아04447
  • 등록일자 : 2017-04-06
  • 제호 : 정보통신신문
  • 대표이사·발행인 : 함정기
  • 편집인 : 이민규
  • 편집국장 : 박남수
  • 서울특별시 용산구 한강대로 308 (한국정보통신공사협회) 정보통신신문사
  • 발행일자 : 2024-03-29
  • 대표전화 : 02-597-8140
  • 팩스 : 02-597-8223
  • 청소년보호책임자 : 이민규
  • 사업자등록번호 : 214-86-71864
  • 통신판매업등록번호 : 제 2019-서울용산-0472호
  • 정보통신신문의 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재·복사·배포 등을 금합니다.
  • Copyright © 2011-2024 정보통신신문. All rights reserved. mail to webmaster@koit.co.kr
한국인터넷신문협회 인터넷신문위원회 abc협회 인증 ND소프트