레이스 트랙 환경에서 심층 강화 학습 에이전트의 성능 향상을 위한 자동 커리큘럼 학습 적용 연구 = A Study on Applying Automated Curriculum Learning to Improve the Performance of Deep Reinforcement Learning Agents in a Race Track Environment

국문 초록 (Abstract)

복잡한 자율주행 환경에서 에이전트를 처음부터 학습시키는 것은 불안정한 학습 수렴 문제에 직면하기 쉽다. 본 연구는 이 문제를 해결하기 위해 자동화된 커리큘럼 학습을 적용한 방법을 제안한다. 초기 학습에서 과도한 충돌과 부정적 보상으로 인한 지역해 수렴 문제를 해결하기 위해, 학습 시 Teacher-Student Framework를 사용하여 환경 난이도의 핵심 변수인 상대 차량 최대 수를 동적으로 조절하였다. Teacher는 최근 에피소드의 성공률을 기준으로 차량 수를 조절하고, cooldown 및 interleaving 기법을 이용하여 학습의 안정성을 높였다. 실험은 highway-env의 racetrack-v0 환경에서 실행하였다. 그 결과 제안된 ACL 방식이 기준 모델 대비 보상, 에피소드 길이, 생존 시간, 충돌 횟수에서 큰 폭의 향상을 보였다. 또한 학습 시에도 기준 모델 대비 안정적으로 높은 보상 및 생존 시간에 수렴하는 것을 볼 수 있었다. 이는 제안하는 방법이 초기에 기본적인 자동차 주행 방법을 학습한 뒤, 복잡한 환경에서 회피하는 전략까지 순차적으로 학습하도록 유도하여 지역해 문제를 완화하고 더 우수한 정책을 획득하게 했음을 보여준다.

다국어 초록 (Multilingual Abstract)

Training an agent from scratch in a complex autonomous driving environment often results in unstable convergence during learning. To address this challenge, this study introduces an approach based on automated curriculum learning. In order to avoid early local optima caused by frequent collisions and negative rewards, the method uses a Teacher-Student Framework that adjusts the maximum number of surrounding vehicles, which represents the core factor in determining task difficulty. The Teacher adjusts this number according to the recent success rate of episodes and improves learning stability through cooldown and interleaving techniques. Experiments were conducted in the racetrack-v0 environment of highway-env. The results show that the proposed ACL method provides substantial improvements over the baseline in reward, episode length, survival time, and collision count. The learning process also converged to consistently higher rewards and longer survival times compared to the baseline. These results indicate that the proposed approach helps the agent gradually learn basic driving skills first and then acquire more advanced avoidance strategies in complex traffic, reducing the likelihood of falling into local optima and leading to better overall policies.