UAV 기반 무선전력전송 네트워크에서 강화학습을 활용한 IoT 네트워크 활성화 알고리즘 = IoT Network Activation Algorithm in UAV Assisted Wireless Power Transmission Networks using Reinforcement Learning

국문 초록 (Abstract)

Internet of Things(IoT) 기기들의 배터리 사용을 최적화하여 에너지 낭비를 줄이고, 기기의 수명을 극대화 하는것은 IoT 네트워크에서 중요한 연구 주제 중 하나이다. 본 연구에선 무인항공기 (Unmanned Aerial Vehicle, UAV)가 지원되는 Simultaneous Wireless Information and Power Transfer (SWIPT) Radio Frequency (RF) 통신기술 기반의 무선전력전송 IoT 네트워크에서 비활성화된 IoT 단말을 효율적으로 활성화시키는 알고리즘에 관한 연구를 수행한다. SWIPT RF 통신기술 기반의 무선전력전송 UAV을 활용해 IoT를 충전함을 전제로 하여 충전 역할을 해주는 UAV의 사용 전력을 최소화하는 저전력 시스템을 구축하기 위해 UAV의 호버링 지점 및 비행경로를 최적화해주는 강화학습을 설계했다. Epsilon Decay 정책과 Replay Memory 기술이 활용된 Q-learning 알고리즘을 적용하여 각 클러스터간을 이동하여 UAV의 비행경로를 최종적으로 결정하는 알고리즘을 제시한다. 시뮬레이션 결과, 에이전트가 효과적으로 학습되었음을 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

Optimizing the battery use of Internet of Things (IoT) devices to reduce energy waste and maximize the lifespan of devices is one of the important research topics in IoT networks. In this study, we present an algorithm that efficiently activates deactivated IoT terminals in wireless power transmission IoT networks based on simple wireless information and power transfer (SWIPT) radio frequency (RF) communication technology supported by Unmanned Aerial Vehicle (UAV). Based on SWIPT RF communication technology, wireless power transmission UAV is used to charge IoT, and reinforcement learning that optimizes UAV's hovering point and flight path was designed to build a low-power system that minimizes the power used by UAVs that serves as a charging role. By applying the Epsilon Decay policy and the Q-learning algorithm utilizing Replay Memory technology, we present an algorithm that finally determines the flight path of UAV by moving between clusters. As a result of the simulation, it can be confirmed that the agent has been learned effectively.