Deep neural network-based automatic parking system for autonomous vehicles
저자
발행사항
[Seoul] : Graduate School, Yonsei University, 2020
학위논문사항
학위논문(박사) -- Graduate School, Yonsei University School of Integrated Technology 2020.2
발행연도
2020
작성언어
영어
주제어
발행국(도시)
서울
기타서명
자율주행자동차를 위한 심층신경망 기반 자동주차 시스템
형태사항
xiii, 123 p. : 삽화 ; 26 cm
일반주기명
지도교수: Shiho Kim
UCI식별코드
I804:11046-000000522196
소장기관
Automatic parking system can provide drivers to increase driving safety as well as comfort. The automatic parking system must perform a number of complicated tasks to safely park the vehicle in a tiny space in a limited time, including environment detection and maneuvering steering, acceleration, braking, and gear shift operation during moving the car. A number of studies and developments of automatic parking systems have been conducted, however, automatic parking a car in tiny space still remains a problem to overcome for implementation of advanced driver assistant systems or autonomous vehicles.
The most of currently used parking systems exploit a step-by-step approach which planning reference trajectory first, and then tracking the desired reference trajectory so as to move the car to the destination with an on-line feedback control loop. The major feature of this kind of indirect method with off-line planning and on-line maneuvering approach is that reference parking trajectory must be generated by a set of curves with taking into account the kinematic model of vehicle, and then follow the predefined path by controlling a sequence of maneuvering actions of steering and velocity control to track the trajectory as close as possible within a tolerable error range.
The difference between the actual parking trajectory and desired trajectory can be controlled by a specific negative feedback loop to maneuver the vehicle track the reference trajectory. However, such indirect planning and tracking methods may have difficulties to make the vehicle to follow along the pre-determined trajectory within permissible error in tiny parking space due to uncertainty and inaccuracy in kinematic and/or dynamic model with a real vehicle under maneuvering. The model parameters of the vehicle may be varying with environmental changes such as tire pressures, surface conditions of the road, weight, and distribution of mounted load, aging of the vehicle and etc, which cause the uncertainty in the kinematic and dynamic model even for the same individual vehicle. The aforementioned problems of indirect method make the vehicle difficult to accomplish autonomous parking under a restricted condition of time and space for parking with multiple back-and-forth movement.
Recently, methods based on deep neural networks have been expected to solve the drawbacks of the mentioned step-by-step approaches by maneuvering vehicles without prior offline trajectory planning. By training an artificial neural network (ANN) using a dataset generated by simulation or experiment, the ANN learns hyper-dimensional relationships between the current vehicle states and the appropriate vehicle maneuvering signals. Instead of calculating the parking trajectory offline, the ANN-based parking controller can yield a direct maneuvering signal of the steering angle and velocity online while the vehicle is moving into a parking space. However, these approaches handle automatic parking tasks in the case of simple trajectories without multiple maneuvering in confined spaces.
The dissertation provides an artificial neural network-based automatic parking agent by learning parking skills for autonomous vehicles. Using a motion and trajectory simulation-based simultaneous dynamic optimization, a large amount of data was easily collected for training the neural network on how to park by optimum parking trajectory and maneuvers. By learning the relationships between vehicle current states and the corresponding vehicle inputs, the proposed ANN-based approach can yield direct steering angle and velocity and complete automatic parking in a tiny space.
Moreover, a twin architecture for the parking maneuvering system using ANNs was proposed. This architecture includes main-vehicle-in-loop and distinct virtual-vehicle-in-loop. At each step of the main-vehicle-in-loop, the virtual-vehicle-in-loop predicts results caused by consequential actions for a certain time interval. Then, if the consequential actions lead collisions with obstacles, it adjusts actions not to collide and transfer the values to main-vehicle-in-loop.
As the results of the proposed approach, first, it yields vehicle actions of automatic parking through the trained artificial neural network without prior path planning. Second, it can predict results caused by consequential actions and adjust the actions with respect to predicted results. In addition, it is robust for the change of vehicle parameters because it acts based on the observation of vehicle states and relative position on-line.
However, neither the planning-based methods nor ANN-based controllers have taken account of longitudinal control delay for a vehicle under automatic parking. Autonomous vehicles convert the input velocity into the desired positions of gas and brake pedals, that is, the maneuvering input for the vehicle’s longitudinal velocity control. Longitudinal latency, the delay time between the input velocity and the real velocity of the vehicle, is unavoidable in vehicle dynamics control. Because the parking controller has an architecture of integrated lateral and longitudinal control, the latency of longitudinal velocity causes a mismatch in temporal synchronization between the steering angle signal and desired vehicle velocity (i.e. the control input of the gas and brake pedals).
This dissertation additionally provides an integrated longitudinal and lateral controller for automatic parking by learning a dataset applying the inverse vehicle model based on ANN. An inverse vehicle model was proposed to estimate the desired input velocity required to track the reference trajectory by canceling the response delay time. Furthermore, the inverse vehicle model was applied to an ANN-based automatic parking controller to compensate for the loss of synchronization between lateral and longitudinal control signals to complete automatic parking in confined spaces. We validated that the ANN controller can complete automatic parking, even with multiple back-and-forth movements in a confined space with the dynamics vehicle model. The capability of the proposed method was verified through Software-in-the-loop (SIL) by Caffe and PreSan.
자동 주차 시스템은 운전 미숙으로 인한 주차사고를 방지하고 운전자에게 편리함을 제공한다. 자동 주차 시스템은 정해진 시간 내에 지정된 공간에 주차를 수행하기 위해 주변 환경을 인지하면서 차량의 조향, 가속, 감속, 기어변속 등 적합한 운전조작을 해야한다. 이를 위해 자동주차 시스템에 많은 양의 연구가 진행되어 왔지만, 앞뒤 방향 전환이 요구되는 좁은 공간에서 자율주차를 수행하는 것은 여전히 극복해야 할 부분으로 남아 있다.
대부분의 자동 주차 시스템은 단계별 접근법을 사용한다. 단계별 접근법은 먼저 차량이 주행해야 할 경로를 사전에 생성하고, 이후 생성한 경로를 주행하는 방법이다. 따라서 이러한 접근법은 차량의 운동/동역학 해석을 이용하여 기준경로를 생성하고, 해당 기준경로를 오차 없이 주행할 수 있도록 차량의 조향 및 속도 제어를 수행한다. 단계적 접근법의 경로계획 방법에는 기하학 기반 경로계획 및 동적 최적화 기반 경로계획 등 이 있다.
하지만 사전에 결정된 경로를 오차 없이 주행하는 것은 다소 어렵다. 왜냐하면 실제 차량의 주행은 다소 불확실하고 가변적이어서 계산된 모델과 다를 수 있기 때문이다. 타이어 압력, 도로 지면의 상태, 적재 중량 및 배치, 차량 마모 등 차량 모델의 계수는 달라질 수 있다. 위 문제는 동일 차량에서도 발생할 수 있는 문제이다. 특히 좁은 공간에서 차량을 앞뒤로 방향을 바꾸는 과정은 경로 추종 오차가 더욱 증가시킬 수 있다.
이와 다르게, 심층신경망 기반 방식은 데이터에 기반해 이를 학습하고, 원하는 출력값을 추론하는 방식이다. 대부분의 선행 심층신경망 기반 자동주차 연구들은 현재 차량 상태를 입력으로 받고 출력으로 차량의 입력값을 산출하여 경로를 사전에 생성하지 않는 장점을 갖는다. 또, 데이터에 기반하여 학습하기 때문에 내재적으로 차량 모델을 습득하게 되고 적응적으로 차량 행동에 반응하게 된다. 하지만 기존 선행 연구들은 주차를 위해 차량의 앞뒤 방향 전환이 필요한 좁은 공간에서 주차를 성공적으로 수행하지는 못하였다.
본 학위 논문은 심층신경망을 활용한 자동 주차 시스템을 제시한다. 본 연구는 기존 기준경로 생성과정 없이 매 차량 상태에서 차량의 조향 및 속도 조작 값을 산출하여 주차 수행을 완수하는 것을 목적으로 한다. 제안하는 자동주차 심층신경망은 매 상황마다 차량의 현재 상태, 이전 차량 조작 값, 주변 환경을 입력으로 받는다. 그리고 진행해야 할 차량 조작 값을 아웃풋으로 산출한다. 이렇게 구현된 심층신경망은 입력과 출력간의 관계 자체를 학습하기 때문에 근본적으로 입/출력 사이의 시스템 모델을 내재하는 특성을 갖는다.
이를 구현하기 위해 단계별 접근법 중 하나인 동적 최적화 기반 경로계획 방법을 사용하여 일관된 기준에 의하여 데이터를 생성하였다. 생성된 대규모 데이터를 이용하여 차량의 현재 상태와 이에 대응하는 차량 조작 값을 심층신경망에 학습하였다. 기존 동적 최적화 기반 경로계획은 좁은 공간에서도 정교하게 경로생성이 가능하지만 경로생성을 실시간으로 수행하기에는 계산량이 많았다. 이러한 단점은 심층신경망 학습을 통해 생성된 심층신경망 기반 자동주차 제어기를 구현함으로써 극복할 수 있다.
이러한 결과로, 제안하는 심층신경망 주차 시스템은 사전 경로계획 없이 차량 조작 값을 심층신경망을 통해 산출하고, 차량 조작이 끼치는 결과를 예상하고 조정하여 주차 수행을 좁은 공간에서도 완수하였다. 또한 현재 차량 상태와 대응된 차량 조작 값을 산출하기 때문에 차량의 운동 모델 변화에도 강인한 모습을 보인다.
앞서 언급한 단계별 접근법과 심층신경망 기반 방식 모두 차량 키네마틱스 모델을 사용한 시뮬레이션은 좁은 공간에서도 주차를 성공적으로 수행하였다. 그러나 실제 차량과 유사한 엔진 구동계를 포함한 차량 다이나믹스 모델에서는 그 성능이 저하된다. 차량의 종방향 제어는 속력 항이 아닌 악셀 및 브레이크 페달 위치를 입력값으로 가지기 때문에 속력 항을 입력으로 제어를 할 경우 실제 차량은 속도항의 악셀 브레이크 변환 및 차량 엔진 동역학에 따라 속도 지연을 수반하게 된다. 이러한 속도지연은 차량의 속도입력값과 조향입력값 간에 시간에 따른 불일치를 발생시키고, 이는 주행하고자 하는 경로와 오차를 발생시킨다.
따라서 본 학위 논문은 추가로 차량지연을 고려하는 종방향 차량 역모델을 제안하고 이를 심층신경망 기반 자동주차 제어기에 적용하였다. 종방향 차량 역모델은 차량의 악셀 브레이크 변환 및 차량 엔진 동역학에 따른 속도 지연을 예견하고 이를 보상하여 원래 속도 입력값으로 추종할 수 있도록 조정된 속도 입력값을 산출하는 모델이다. 이를 위해 차량 속도 입력값과 실제 차량 주행값을 데이터로 획득하고 두 속도값의 관계를 2 차 차분 방정식으로 근사한 모델을 생성하였다. 이 모델을 따라 주차 경로 데이터를 조정하였고, 지연을 보정하도록 조정된 데이터를 ANN 에 학습하여 최종적으로, 지연을 보상하는 속도 입력값을 산출하는 자동주차 시스템을 구현하였다.
최종적으로, 종방향 차량 역모델을 적용한 심층신경망 주차 시스템은 엔진 구동계를 포함한 차량 다이나믹스 모델 차량을 대상으로 속도 지연을 보상하는 차량 조작 값을 인공 신경망을 통해 산출하여 좁은 공간에서도 주차 수행을 완수하였다. 이러한 결과를 Caffe 와 PreScan 을 이용하여 검증하였다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)