Deep learning based recognition of user intention for AR/VR wearable device interface exploiting user's facial gestures
저자
발행사항
[Seoul] : Graduate School, Yonsei University, 2020
학위논문사항
학위논문(박사) -- Graduate School, Yonsei University School of Integrated Technology 2020.2
발행연도
2020
작성언어
영어
주제어
발행국(도시)
서울
기타서명
사용자의 안면 동작을 이용하는 증강/가상 현실 웨어러블 장치 인터페이스를 위한 딥러닝 기반 사용자 의도 인식
형태사항
xii, 100 p. : 삽화 ; 26 cm
일반주기명
지도교수: Shiho Kim
UCI식별코드
I804:11046-000000522197
소장기관
The user interface (UI) for human-computer interaction (HCI) has been a primary issue in the development of personal information and communication devices. Recently, augmented reality (AR) and virtual reality (VR) have emerged as next leading technologies beyond the smartphone epoch, and developing UI optimized to AR/VR headsets becomes one of the key challenges. This dissertation proposes a deep learning based recognition of user intention targeted for hands-free UI of AR/VR headset environments which exploits the wearer’s facial gestures. The gesture is detected by the custom-designed near infrared (NIR) sensor, which catches the NIR propagation patterns on the user’s skin. In this paper, firstly, the physical background of facial expression tracking sensor is presented. Depending on the direction and amount of skin deformation, spatially resolved diffuse reflection (SRDR) of IR light within human skin was measured with the proposed NIR sensor, and the relation between SRDR and skin deformation was explained. The proposed sensing mechanism was verified on head mounted display (HMD) environments for the implementation of hands-free UI system for AR/VR headsets. For the verification of the proposed sensor operation on HMD system, the sensor was tested on commercial headset, and the sensor outputs were measured depending on various facial gestures. After the verification procedure, it was implemented to commercial AR glasses. IR SRDR video frames from the sensor contains both spatial and temporal features. A spatiotemporal autoencoder (STAE) with a deep embedded clustering (DEC) algorithm were introduced to extract the two dimensional feature of facial gesture and classify the user intention depending on the gesture. The STAE was adopted to learn the sensor data representation in unsupervised manner and adjust person to person variation of the sensor data, and the DEC algorithm boosted the performance of the K-means clustering algorithm by increasing separability the among clusters. The proposed networks were trained simultaneously during the classifier training phase. A mouse interface-like hands-free UI for an AR headset was designed and implemented. The system achieved 95.4% of the user-command recognition average accuracy. Developing UI of AR based assistance system in medical application, automobile industries or UI of VR based education applications are the most expected future works of the proposed research.
더보기과거 전문적인 영역에서나 사용되던 AR/VR 기술은 최근의 급속한 컴퓨터 그래픽스 및 모바일 디스플레이의 발달로 인해 합리적인 가격 및 성능을 제공할 수 있게 되어 대중들에게 친숙한 기술이 되어가고 있다. AR/VR 헤드셋 환경에 최적화된 유저 인터페이스를 개발하는 것은 AR/VR 기술의 완전환 상용화 단계로의 발전을 위한 핵심 과제 중 하나이다. 외부의 시야가 차단되는 VR 환경 및 수술, 공장 작업 등 여러 산업 현장에서 사용될 수 있는 AR 환경 특성은 기존의 키보드나 마우스를 이용한 인터페이스를 이용하기 어렵게 하며, 표정 인식, 음성 인식, 제스처 인식 등의 핸즈프리 인터페이스를 요구하기 때문이다. 이러한 관점에서, 인간의 일상적인 행동을 통한 컴퓨터 환경과의 인터페이스 제공을 추구하는 자연적인 사용자 인터페이스(NUI)의 개념은 핸즈프리 인터페이스가 필요한 AR/VR 헤드셋 환경에 적합하다. 본 논문은 헤드셋 착용자의 얼굴 표정을 이용하여 사용자의 의도를 인식하는 AR/VR 헤드셋 환경 핸즈프리 사용자 인터페이스(UI)의 제안을 통해 AR/VR 기술 발전에 기여하고자 한다. 첫째로, 본 논문은 제안하는 얼굴 표정 추적 센서의 물리적 작동 원리를 제시하고 이에 따른 실험을 통해 그 원리를 입증하였다. 피부 내 콜라겐, 케라틴 등의 섬질 단백질은 피부 속으로 입사한 광의 산란 반사(diffuse reflection)를 유발하며 얼굴 움직임에 의한 피부 내부 단백질 배열의 변형은 입사광의 산란 반사율 변화에 영향을 준다. 이에 따라 피부에 입사하는 근적외선의 전파 패턴 변화를 이용하여 얼굴 움직임에 의한 피부 변형을 감지할 수 있다. 피부 변형의 방향과 양에 따라 제안된 근적외선 센서를 이용하여 인간의 피부 내에서 적외선의 SRDR(Spatially Resolved Diffuse Reflection)을 측정하고 SRDR과 피부 변형 사이의 관계를 설명하였다.
제안하는 센서의 작동 메커니즘은 헤드셋 환경에 대응하는 핸즈프리 UI 인터페이스 구현을 위해 헤드셋 환경에서 검증되었다. 상용 헤드셋에 제안하는 센서를 장착하여 다양한 얼굴 제스처에 따라 센서 출력을 측정하였고, 검증 결과에 기반하여 최적의 형태로 센서를 재설계하여 상용 AR 헤드셋에 적용하였다. AR 헤드셋에 장착되는 센서는 적외선 레이저 다이오드와 적외선 카메라를 이용하여 비 접촉식으로 구현되었다. 적외선 카메라로부터의 IR 비디오 데이터는 시공간적(spatiotemporal) 특징(feature)을 나타낸다. 센서로부터의 데이터 분석을 통해 표정 인식을 달성하기 위하여 STAE(Spatiotemporal Autoencoder)와 DEC(Deep Embedded Clustering)를 융합한 클러스터링 네트워크를 구성하였다. STAE는 비지도 학습 방식으로 센서 데이터의 시공간적 특징을 추출하고, 사람 간 얼굴 형태의 다양성에 의한 센서 데이터 편차로 표정 인식의 정확도가 낮아지는 것을 방지하기 위해 채택되었다. DEC는 추출된 특징의 클러스터간 분리가 잘 일어나도록 특징의 분포를 변화시켜 K-means 클러스터링 알고리즘의 성능을 향상시킨다. 제안하는 AR UI의 작동을 검증하기 위하여 자체 제작한 AR 어플리케이션에서 실시간 명령 입력 실험이 수행되었고 95.4%의 평균 명령 인식률을 달성하였다.제안하는 기술의 차후 연구 분야로 의료, 산업 분야의 증강 현실 업무 보조 시스템 UI 혹은 가상 현실을 통한 교육 서비스 UI등의 연구가 기대된다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)