안개 환경에서의 자율주행 성능 향상을 위한 카메라 및 LiDAR 융합 딥러닝 어텐션 기술 개발
저자
발행사항
서울 : 연세대학교 대학원, 2023
학위논문사항
학위논문(석사) -- 연세대학교 대학원 자동차융합공학과 2023.2
발행연도
2023
작성언어
한국어
주제어
발행국(도시)
서울
기타서명
Improved autonomous driving in foggy environments using deep learning attention technology applied to synthesized camera and lidar sensing
형태사항
ix, 61장 : 삽화(주로천연색) ; 26 cm
일반주기명
지도교수: 정종문
UCI식별코드
I804:11046-000000545693
소장기관
최근에 ADAS 기술이 발전하고 이를 이용하는 사람들이 많아짐에 따라, 자율주행 자동차의 성능에 대한 관심이 높아지고 있다. 현재, 자율주행 자동차의 가장 큰 문제 중 하나는 날씨가 좋지 않을 때에는 사고가 많이 발생하며 날씨가 맑은 때와 비슷한 성능을 내지 못한다는 것이다. 이전에 진행된 연구들에 의하면, 특히 안개가 낀 상황은 그 이외에 비나 눈과 같은 악천후 상황에 비해 자율주행 센서 성능에 많은 영향을 끼친다. 특히, 안개의 밀도가 높아질수록 카메라나 라이다 등의 센서들의 인지 성능이 급격하게 감소하여 자율주행 자동차의 주행 성능이 감소한다. 현재까지 아직 다양한 안개 상황에서 자율주행의 성능을 보장해줄 수 있는 강건성 있는 알고리즘이나 기술이 부족하며, 안개의 정도에 따라 센서들이 받는 영향도를 고려한 자율주행 연구가 필요하다.
따라서, 본 연구에서는 자율주행 센서들을 활용하여 안개의 정도를 수치화하고, 현재 자율주행을 하는 데에 가장 보편적으로 사용되고 있는 전방, 측방, 후방 카메라와 LiDAR와 같이 자율주행 알고리즘에 주로 사용되는 센서들을 그들이 안개 상황에 받는 영향도에 따라 적절하게 합성하여 안개의 정도에 따라 알맞게 안정적으로 주행할 수 있는 알고리즘을 제시하고자 한다. 본 연구에서 제안하는 자율주행 알고리즘의 경우에는 딥러닝 및 강화학습을 기반으로 하며, 특히 고차원 데이터를 처리해 연속된 action이 필요한 운전을 하는 자율주행 모델에 적합한 방식인 Imitation Learning 기법을 활용한다. 이 기법은 자율주행 센서 중 카메라 데이터와 LiDAR 데이터를 observation으로, 차량 제어값 (엑셀, 조향각)을 action으로 정의하여 expert agent와 비슷하게 action을 수행하며 imitation cost를 줄이는 방식으로 expert의 policy를 학습한다. 또한, attention 기법을 활용하여 fog intensity의 정도에 따라 자율주행 센서들이 받는 영향력을 반영함으로써 자율주행 센서들을 적절하게 융합하여 주행 시 높은 성능을 보일 수 있는 주행 알고리즘을 제시한다.
그 결과, CARLA를 활용한 다른 자율주행 모델들과 비교했을 때, 안개가 끼어 있는 상황에서 높은 주행 안정성과 주행 성능을 보였다. 뿐만 아니라, 다양한 조합의 센서들을 활용한 모델 여러 가지를 제시하여 실제 안개 상황에서뿐 아니라 특정 센서의 성능이 떨어지거나 센서를 사용하지 못하게 되었을 때에도 다른 모델로 대체할 수 있는 hybrid 형태의 센서 퓨전 모델을 제시함으로써 상황에 맞게 adaptive한 주행 성능 및 안정성을 보여줄 수 있도록 한다.
The development of Advanced Driver Assistance System (ADAS) technology and the rapid increase in its usage has contributed to the growth of people’s interest in the performance of autonomous vehicles. In particular, one of the biggest concerns of self-driving cars is that majority of accidents occur in adverse weather (e.g. rain, snow, and fog), and Autonomous Vehicles (AVs) do not perform well in those environments. According to previous studies, especially in foggy situations, the performance of autonomous driving sensors rapidly reduces, compared to other adverse weather conditions such as rainy or snowy conditions. In particular, as the density of the fog increases, the cognitive performance of sensors such as cameras and lidars rapidly decreases, thereby reducing the driving performance of autonomous vehicles. Until now, there is still a lack of robust algorithms or technologies that guarantee the performance of autonomous driving in various fog conditions, and autonomous driving research that considers the degree of influence of sensors depending on the degree of fog is required.
Therefore, this study quantifies the degree of fog and suggests an algorithm that allows them to drive reliably according to the fog intensity by synthesizing various types of sensors, including RGB cameras (e.g. front, left, right, and rear), and LiDAR, which are the most commonly used sensors for autonomous driving. The self-driving algorithm proposed in this study is based on deep learning and reinforcement learning. In particular, the imitation learning technique, which is suitable for autonomous driving models that require continuous action by processing high-dimensional data, is used. This technique learns the expert's policy by defining camera data and LiDAR data of autonomous driving sensors as observation and vehicle control values (excel, steering angle) as action, performing actions similar to expert agents and reducing imitation cost. In addition, we present a driving algorithm that can show high performance during driving by appropriately converging autonomous driving sensors by reflecting the influence of autonomous driving sensors according to the degree of fog intensity using the attention technique.
As a result, compared to other self-driving models using CARLA, it showed high driving stability and driving performance in foggy conditions. In addition, several models using various combinations of sensors were presented so that high stability could be achieved not only in actual fog conditions but also when the performance of a specific sensor deteriorated or the sensor could not be used. In this case, by presenting a hybrid type sensor fusion model that can replace low-performance sensors with other models that do not use them, adaptive driving performance and stability can be shown according to each driving situation.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)