의사결정의 정확성을 고려한 Q-학습의 상태 공간을 줄이는 방법- 3D환경에 적용한 사례 중심으로 = A Technique to Solve the Q-learning’s Curse of Dimensionality Considering Decision-Making’s Accuracy - Focused on the Case Study in 3D Environment
저자
발행기관
학술지명
권호사항
발행연도
2009
작성언어
Korean
주제어
자료형태
학술저널
수록면
219-240(22쪽)
KCI 피인용횟수
0
제공처
A Technique to Solve the Q-learning's Curse of Dimensionality Considering Decision-Making's Accuracy - Focused on the Case Study in 3D Environment Sung, Yun-sick, Cho Kyung-eun, Um, Ky-hyun As Virtual reality which interacts with user extends its research fields, it started to integrate with artificial intelligence. If virtual human and animal is controlled using traditional artificial intelligence like FSM in Virtual reality, their actions are usually executed recursively or it's sometime vary difficult to define their actions when action's model is complex. Q-learning suits virtual environment, because agent could learn without the definition of environment model. But it needs to solve the curse of dimensionality, because state space is defined bigger as environment is more complex. The research which solves this problem reduces state space and calculates the Q-value which state is not defined. But it needs learning algorithm considering all states to decide an action accurately. In this paper, we propose two methods which can preserve decision's accuracy. First, we propose the method which preserves decision's accuracy using planner when Q-learning's state 244 space is reduced. Second, we introduce the way how to divide virtual environment and define state space of learning using numbers of small state spaces. In this way, we divided the space into two regions which could cut down the state space where learning results store by 53%.
더보기가상환경에서 사용자와 상호 작용하는 가상현실 분야는 점점 넓어지면서인공지능 기술을 사용한다. 가상현실에서 사람이나 동물의 움직임을 제어할때 FSM과 같은 전통적인 인공지능을 사용하면 동일한 행동이 반복적으로 수행되거나 행동 모델이 복잡한 경우에는 정의하기가 어려운 단점이 있다. Q-학습은 환경 모델을 정의하지 않고 학습하기 때문에 가상환경에 적합하다. 하지만 환경이 복잡해지면 학습한 결과를 저장하는 상태 공간이 커지는 문제가 발생한다. 상태 공간 문제를 해결하기 위한 연구들은 학습에 적용하는 상태를줄여서 상태 공간을 줄인다. 그리고 발생한 오차는 계산하거나 추정하는 방법을 사용한다. 하지만 정확한 의사결정을 하기 위해서는 모든 상태를 고려하면서 학습하는 방법이 필요하다. 이 논문에서는 Q-학습의 상태 공간을 줄이면서의사결정의 정확성이 떨어지는 것을 보완할 수 있는 두 가지 방법을 제안한다. 첫 번째, 학습과 계획을 통합한 방법에서는 상태 공간을 줄일 때 발생하는의사결정의 정확성 문제를 계획기를 사용해서 보완하는 방법을 제안한다. 두번째, 가상환경의 공간을 분리해서 다수의 작은 상태공간으로 학습에 사용하는 상태공간을 정의하는 방법을 소개한다. 이 방법은 사례에서 공간을 두 개로 나누어 상태공간을 정의함으로써 학습 결과를 저장하는 상태공간을 약53%로 줄였다.
더보기분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)