유연한 강화학습 환경 구성을 위한 DEVS 기반 시뮬레이션 및 유니티-파이썬 통합 프레임워크 = A DEVS-based Simulation and Unity-Python Integrated Framework for Flexible Reinforcement Learning Environment Configuration

국문 초록 (Abstract)

본 연구는 강화학습 알고리즘 적용 시 환경 설정, 에이전트 모델 변경, 보상 구조 수정 등에서 발생하는 유연성 ․ 확장성의 제약을 극복하기 위한 통합적 프레임워크를 제안한다. 이를 위해 이산사건 시스템 형식론을 기반으로 가상환경을 자동 생성하는 시뮬레이터를 활용하고, 유니티 엔진과 파이썬 서버를 연계하여 강화학습 알고리즘을 손쉽게 적용할 수 있는 구조를 구축하였다. 이러한 접근을 통해 사용자는 다양한 시나리오를 신속하게 구성할 수 있으며, 별도의 복잡한 설정 없이도 환경 및 알고리즘 교체가 가능하다. 실험에서는 파이썬 단독 환경과 유니티 연계 환경에서 동일한 강화학습 알고리즘을 이용해 학습하고 성능을 비교함으로써, 제안한 통합 프레임워크가 환경 구현 방식에 구애받지 않고 재현성 높은 실험 결과를 제공함을 확인하였다. 비록 유니티 연계 시 렌더링 및 통신 오버헤드로 인해 학습 시간이 증가하였으나, 실제적이고 시각적인 가상환경에서 강화학습 모델을 검증할 수 있는 장점을 제공한다. 이를 통해 향후 자율주행, 로봇 제어, 게임 AI 등 다양한 분야에서 실제 환경 검증 이전 단계로 활용 가능한 실용적이며 유연한 강화학습 실험 기반을 마련할 수 있을 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

This study proposes an integrated testbed designed to overcome the limitations in flexibility and scalability that arise when applying reinforcement learning algorithms—such as configuring environments, modifying agent models, and adjusting reward structures. To this end, we utilize a simulator capable of automatically generating virtual environments based on the Discrete Event System Specification (DEVS) and integrate the Unity engine with a Python server, thereby enabling the straightforward application of reinforcement learning algorithms. This approach allows users to rapidly configure various scenarios and replace environments or algorithms without complex adjustments. In the experiments, we trained the same reinforcement learning algorithm in both a stand- alone Python environment and a Unity-integrated environment to compare performance. The results confirm that the proposed testbed can provide reproducible experimental outcomes regardless of the environment implementation approach. While the Unity integration increased training time due to rendering and communication overhead, it offers the advantage of verifying reinforcement learning models in a more realistic and visually enriched virtual environment. Consequently, we anticipate that this practical and flexible testbed will be leveraged as a preliminary verification stage before real-world deployment in fields.