컴패니언 로봇의 멀티 모달 대화 인터랙션에서의 감정 표현 디자인 연구 = Design of the emotion expression in multimodal conversation interaction of companion robot

다국어 초록 (Multilingual Abstract)

This research aims to develop the companion robot experience design for elderly in korea based on needs-function deploy matrix of robot and emotion expression research of robot in multimodal interaction. First, Elder users’ main needs were categorized into 4 groups based on ethnographic research. Second, the functional elements and physical actuators of robot were mapped to user needs in function- needs deploy matrix. The final UX design prototype was implemented with a robot type that has a verbal non-touch multi modal interface with emotional facial expression based on Ekman's Facial Action Coding System (FACS). The proposed robot prototype was validated through a user test session to analyze the influence of the robot interaction on the cognition and emotion of users by Story Recall Test and face emotion analysis software; Emotion API when the robot changes facial expression corresponds to the emotion of the delivered information by the robot and when the robot initiated interaction cycle voluntarily. The group with emotional robot showed a relatively high recall rate in the delayed recall test and In the facial expression analysis, the facial expression and the interaction initiation of the robot affected on emotion and preference of the elderly participants.

국문 초록 (Abstract)

본 연구는 실버세대를 위한 컴패니언 로봇의 인터랙션 경험 디자인을 위해 사용자 태스크- 로봇 기능 적합도 매핑에 기반한 로봇 유형 분석과 멀티모달 대화 인터랙션에서의 로봇 감정표현 연구를 수행하였다. 노인의 니즈 분석을 위해 노인과 자원 봉사자를 대상으로 FGI, 에스노그래피를 진행하였으며 로봇 지원 기능과 엑추에이터 매칭을 통해 로봇 기능 조합 유형에 대한 분석을 하였다. 도출된 4가지 유형의 로봇 중 표정 기반 대화형 로봇 유형으로 프로토타이핑을 하였으며 에크만의 얼굴 움직임 부호화 시스템(Facial Action Coding System: FACS)을 기반으로 6가지 기본 감정에 대한 표정을 시각화하였다. 사용자 실험에서는 로봇이 전달하는 정보의 정서코드에 맞게 로봇의 표정이 변화할 때와 로봇이 인터랙션 사이클을 자발적으로 시작할 때 사용자의 인지와 정서에 미치는 영향을 이야기 회상 검사 (Story Recall Test: STR)와 표정 감정 분석 소프트웨어 Emotion API로 검증하였다. 실험 결과, 정보의 정서코드에 맞는 로봇의 표정 변화 그룹이 회상 검사에서 상대적으로 높은 기억 회상률을 보였다. 한편 피험자의 표정 분석에서는 로봇의 감정 표현과 자발적인 인터랙션 시작이 피험자들에게 정서적으로 긍정적 영향을 주고 선호되는 것을 확인하였다.

참고문헌 (Reference)

• 1 김지수, "안구 운동의 생리" 대한임상신경생리학회 1 (1): 173-181, 1999
• 2 김우룡, "비언어적 커뮤니케이션론" 나남 2004
• 3 신경아, "뉴시니어로서의 베이비붐세대: 은퇴 후 삶에 대한 지향과 성공적인 적응을 위한 콘텐츠 수요에 관한 연구" 한국여성커뮤니케이션학회 (25) : 113-144, 2013
• 4 Dautenhahn, K., "What is a robot companion – friend, assistant or butler?" 1192-1197, 2005
• 5 Ekman, P., "Unmasking the Face: A Guide to Recognizing Emotions From Facial Expressions" Malor Books 2003
• 6 Bradley, M., Margaret, "The Pupil as a Measure of Emotional Arousal and Autonomic Activation" 602-607, 2008
• 7 Small and Medium Business Administration, "Technology Road Map for SME 2016~2018" 2016
• 8 Heerink, M., "Studying the acceptance of a robotic agent by elderly users" 7 (7): 33-43, 2006
• 9 Wada, K., "Living With Seal Robots; Its Sociopsychological and Physiological Influences on the Elderly at a Care House" 23 (23): 972-980, 2007
• 10 Breazeal, C., "How to build robots that make friends and influence people" 2 : 858-863, 1999
• 11 Ekman, P., "Facial action coding system: a technique for the measurement of facial movement" Consulting Psychologists 1978
• 12 Wickens, C. D., "Engineering Psychology and Human Performance" Psychology Press 2012
• 13 Bretan, M., "Emotionally expressive dynamic physical behaviors in robots" 2015
• 14 Schwarz, N., "Emotion, cognition, and decision making" 14 (14): 433-440, 2000
• 15 Kwon, D. S., "Emotion Interaction System for a Service Robot" 351-356, 2007
• 16 Ekman, P., "Communication through nonverbal behavior: A source of information about an interpersonal relationship, Affect, cognition and personality" Springer 1965
• 17 Arkin, Ronald C., "An ethological and emotional basis for human–robot interaction" 42 (42): 191-201, 2003
• 18 Gordon, G., "Affective Personalization of a Social Robot Tutor for Children’s Second Language Skills" 2016
• 19 Klamer, T., "Acceptance and use of a social robot by elderly users in a domestic environment" 1-8, 2010