MEC 산업용 IoT 환경에서 경매 이론과 강화 학습 기반의하이브리드 오프로딩 기법 = Hybrid Offloading Technique Based on Auction Theory and Reinforcement Learning in MEC Industrial IoT Environment

국문 초록 (Abstract)

산업용 IoT는 대규모 연결을 통해 데이터 수집, 교환, 분석과 함께 산업 분야의 생산 효율성 개선에 중요한 요소이다. 그러나 최근 산업용 IoT의확산으로 인해 트래픽이 폭발적으로 증가함에 따라 트래픽을 효율적으로 처리해줄 할당 기법이 필요하다. 본 논문에서는 산업용 IoT 환경에서성공적인 태스크 처리율을 높이기 위한 2단계 태스크 오프로딩 결정 기법을 제안한다. 또한, 컴퓨팅 집약적인 태스크를 셀룰러 링크를 통해 이동엣지 컴퓨팅(Mobile Edge Computing: MEC) 서버로 오프로드 하거나 D2D(Device to Device) 링크를 통해 근처의 산업용 IoT 장치로 오프로드할 수 있는 하이브리드 오프로딩(Hybrid-offloading) 시스템을 고려한다. 먼저 1단계는 태스크 오프로딩에 참여하는 기기들이 이기적으로 행동하여태스크 처리율 향상에 어려움을 주는 것을 방지하기 위해 인센티브 메커니즘을 설계한다. 메커니즘 디자인 중 McAfee’s 메커니즘을 사용하여 태스크를 처리해주는 기기들의 이기적인 행동을 제어하고 전체 시스템 처리율을 높일 수 있도록 한다. 그 후 2단계에서는 산업용 IoT 장치의 불규칙한움직임을 고려하여 비정상성(Non-stationary) 환경에서 멀티 암드 밴딧(Multi-Armed Bandit: MAB) 기반 태스크 오프로딩 결정 기법을 제안한다.
실험 결과로 제안된 기법이 기존의 다른 기법에 비해 전체 시스템 처리율, 통신 실패율, 후회 측면에서 더 나은 성능을 달성할 수 있음을 보인다.

다국어 초록 (Multilingual Abstract)

Industrial Internet of Things (IIoT) is an important factor in increasing production efficiency in industrial sectors, along with datacollection, exchange and analysis through large-scale connectivity. However, as traffic increases explosively due to the recent spreadof IIoT, an allocation method that can efficiently process traffic is required. In this thesis, I propose a two-stage task offloading decisionmethod to increase successful task throughput in an IIoT environment. In addition, I consider a hybrid offloading system that can offloadcompute-intensive tasks to a mobile edge computing server via a cellular link or to a nearby IIoT device via a Device to Device (D2D)link. The first stage is to design an incentive mechanism to prevent devices participating in task offloading from acting selfishly andgiving difficulties in improving task throughput. Among the mechanism design, McAfee's mechanism is used to control the selfish behaviorof the devices that process the task and to increase the overall system throughput. After that, in stage 2, I propose a multi-armed bandit(MAB)-based task offloading decision method in a non-stationary environment by considering the irregular movement of the IIoT device.
Experimental results show that the proposed method can obtain better performance in terms of overall system throughput, communicationfailure rate and regret compared to other existing methods.

참고문헌 (Reference)

• 1 W. Lu, "Truthful multi-resource transaction mechanism for P2P task offloading based on edge computing" 70 (70): 6122-6135, 2021
• 2 J. X. Dai, "Task Co-offloading for D2D-assisted mobile edge computing in industrial internet of Things" 2022
• 3 V. Raj, "Taming non-stationary bandits : A Bayesian approach"
• 4 L. Sun, "TAFS : A truthful auction for IoT application offloading in fog computing networks" 10 (10): 3252-3263, 2022
• 5 N. Zhu, "Sleep-scheduling and joint computation-communication resource allocation in MEC networks for 5G IIoT" 1-7, 2021
• 6 Z. Zhou, "Resource sharing and task offloading in IoT fog com"puting : A contract-learning approach" 4 (4): 227-240, 2020
• 7 N. Nasaruddin, "Outage probability and power efficiency of quantize-and-forward relay in multi-hop D2D networks" 183-188, 2020
• 8 S. Koo, "Optimal task offloading decision in IIoT enviornments using reinforcement learning" 86-89, 2021
• 9 X. Hou, "IIoT-MEC : A novel mobile edge computing framework for 5G-enabled IIoT" 1 (1): 2019
• 10 M. A. Qureshi, "Fast learning for dynamic resource allocation in AI-enabled radio networks" 6 (6): 95-110, 2020
• 11 W. Sun, "Double auctionbased resource allocation for mobile edge computing in industrial internet of things" 14 (14): 4692-4701, 2018
• 12 M. Mehrabi, "Device-enhanced MEC : Multi-access edge computing(MEC)aided by end device computation and caching : A survey" 7 : 166079-166108, 2019
• 13 D. J., "A tutorial on thompson sampling" 11 (11): 1-96, 2018
• 14 X. Wu, "A hybrid mode task offloading algorithm for edge computing" 81-85, 2021
• 15 R. P. McAfee, "A dominant strategy double auction" 56 (56): 434-450, 1992
• 16 N. Fan, "A collaborative task offloading scheme in D2D-assisted fog computing networks" 1-6, 2020