딥러닝 Recurrent Neural Network를 이용한 깊이 카메라 기반 휴먼 행위 인식 = A Depth Camera-based Human Activity Recognition via Deep Learning Recurrent Neural Network
저자
발행사항
용인 : 경희대학교 대학원, 2017
학위논문사항
학위논문(석사)-- 경희대학교 대학원 : 생체의공학과 2017. 2
발행연도
2017
작성언어
한국어
주제어
DDC
610 판사항(20)
발행국(도시)
경기도
형태사항
viii, 48 p. : 삽화 ; 26 cm
일반주기명
경희대학교 학위논문은 저작권법에 의해 보호받습니다.
A Depth Camera-based Human Activity Recognition via Deep Learning Recurrent Neural Network
지도교수: 김태성
참고문헌 : p.38-43
UCI식별코드
I804:11006-200000057019
소장기관
휴먼 행위 인식 기술(Human Activity Recognition)은 헬스케어(Health care) 및 인간-컴퓨터 상호작용(Human-Computer Interaction) 분야에서 가장 활발하게 연구 되는 기술 중의 하나이다. 이 기술이 사람의 행위를 모니터링 하여 자동으로 재활운동 정보를 제공하거나 각종 장치의 조작을 도와줌으로서 헬스케어의 비약적인 발전이 이루어질 수 있기 때문이다. 휴먼 행위 인식 기술의 방식은 크게 센서 기반(Sensor-based)과 비전 기반(Vision-based)으로 나눌 수 있다. 비전 기반의 휴먼 행위 인식 기술은 몸에 센서를 부착하지 않고 원거리에서 행동을 인식할 수 있다는 장점이 있지만, 그동안 센서 기반의 휴먼 행위 인식 기술보다 낮은 정확도로 인하여 잘 이용되지 못하였다. 본 논문에서는 비전 기반의 휴먼 행위 인식 기술 중에서도 깊이 정보를 얻을 수 있는 깊이 카메라(Depth Camera)와 딥러닝을 이용한 휴먼 행위 인식 기술을 제안하고자 한다.
사람의 행위 정보는 시간 정보를 포함한 시계열 정보이다. 따라서 그동안의 휴먼 행위 인식 연구들은 일반적으로 시계열 정보를 처리하기에 적합하다고 알려진 은닉 마르코프 모델(Hidden Markov Model, HMM)이나 시계열 정보를 무시하더라도 다소 성능에서 우위를 점할 수 있는 심층 신뢰 신경망(Deep Belief Network, DBN) 등을 사용했다. 하지만 HMM의 경우 데이터를 코드북화를 하면서 같은 행위 데이터라도 클러스터링 성능에 따라 코드북(Codebook)의 질이 많이 달라지고, 이러한 코드북화의 영향으로 같은 행위가 서로 다른 코드 시계열로 표현되어 불안정한 성능을 보인다. DBN의 경우 딥러닝이 주목받기 시작하며 가장 먼저 대두하였으나, 확률적인 특성과 복잡한 훈련과정 등으로 인해 난해하고 재현성이 떨어지며 시계열 데이터를 처리하기에 부족한 점이 있다. 이 논문에서는 딥러닝 기술 중 시계열 데이터를 처리하기에 적합한 Recurrent Neural Network(RNN)을 이용한 휴먼 행위 인식 기술을 제안하고자 한다.
본 연구에서 제안하는 휴먼 행위 인식 시스템은 크게 각 프레임에서 정적인 포즈를 인식하는 휴먼 포즈 인식 부분과 연속적인 포즈 정보를 바탕으로 사람의 행위를 인식하는 휴먼 행위 인식 부분으로 나눌 수 있다. 휴먼 포즈 인식 부분에서는 3차원 인체 모델을 이용하여 만든 학습용 깊이 영상 데이터베이스로 학습된 랜덤 포레스트(Random Forest, RF) 인식기와 깊이 카메라(Depth Camera)를 이용하였다. 인식의 결과물로 사람의 각 바디 파트에 대한 인식 결과 영상을 얻고 이를 통하여 관절 위치를 구하여 휴먼 포즈를 인식하기 위한 관절 각도를 계산하였다.
휴먼 행위 인식 부분에서는 휴먼 포즈 인식 부분에서 구한 관절 각도 특징을 입력 데이터로 사용하여 RNN 네트워크를 학습하게 된다. RNN의 학습 문제를 해결하기 위하여 3개의 게이트를 가진 Long Short-Term Memory Block을 이용하여 네트워크를 구성하였으며, 초기화된 RNN 네트워크는 Back Propagation Through Time 알고리즘을 이용하여 RMSProp와 모멘텀방법을 응용한 Adam Optimizer로 훈련하였다. 최종적으로 학습된 RNN 네트워크로 사람의 행위를 인식하게 된다.
제안하는 휴먼 행위 인식 시스템을 검증하기 위해서 기존 연구에서 사용하였던 은닉 마르코프 모델(HMM) 및 심층 신뢰 신경망(DBN)과 본 연구에서 제안한 Recurrent Neural Network(RNN)를 사용한 휴먼 행위 인식 시스템을 Microsoft Research Cambridge-12 (MSRC-12) 데이터베이스를 이용하여 비교 검증 작업을 수행하였다. 제안하는 RNN 기반의 행위 인식에서 평균 인식률 99.55%와 표준편차 0.11을 달성하였으며, 이는 92.54%의 인식률과 표준편차 4.48을 보인 HHM과 비교하여 7.06%의 인식률 향상을, 97.49%의 인식률과 표준편차 1.92를 보인 DBN과 비교하여 2.01%의 인식률 향상을 보여주었다. 이를 통하여 RNN을 이용하여 사람의 행위를 인식하는 기술이 적은 오차 분포와 높은 안정성을 보인다는 결론을 내릴 수 있었다.
제안하는 행위 인식 방법은 고령자나 환자의 위급상황을 인지하는 라이프 로깅 등의 헬스케어 분야를 비롯하여 그 외 인간-컴퓨터 상호작용을 이용한 다양한 분야에서 응용되어 유용하게 사용될 것으로 기대된다.
Human activity recognition (HAR) has become an active research topic in the fields of health and social care, since this technology offers automatic monitoring and understanding of activities of patients or residents. Depth camera-based HAR recognizes human activities using features from depth human silhouettes via conventional classifiers such as Hidden Markov Model (HMM), Conditional Random Fields etc. In this paper, we propose a new HAR system via Recurrent Neural Network (RNN) which is one of deep learning algorithms. We utilize joint angles from multiple body joints changing in time which are represented a spatiotemporal feature matrix (i.e., multiple body joint angles in time). With these derived features, we train and test our RNN for HAR. In order to evaluate our system, we have compared the performance of our RNN-based HAR against the conventional HMM- and Deep Belief Network (DBN)-based HAR using a database of Microsoft Research Cambridge-12 (MSRC-12). Our test results show that the proposed RNN-based HAR is able to recognize twelve human activities reliably and outperforms the HMM- and DBN-based HAR. We have achieved the average recognition accuracy of 99.55% for the activities. The results are 7.06% more accurate than that of the HMM-based HAR and 2.01% more accurate than that of the DBN-based HAR.
더보기분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)