변형된 Attention 메커니즘 기반의 LSTM을 통한 전력수요 예측 프레임웍

국문 초록 (Abstract)

본 연구는 효율적인 스마트 그리드 시스템을 운용하기 위한 필수 불가결한 요소인 전력수요의 보다 정확한 예측을 그 대상으로 한다. 기존의 시계열적 방법론 및 인공신경망을 이용한 방법론 들이 전력수요 예측에 쓰이는 동안, 전력수요가 가지는 비선형적 요소 및 소수의 데이터 등이 그 이슈로 여겨져 왔다. 이를 해소하기 위하여, 본 연구는 두 개의 LSTM을 하나의 Attention Mechanism으로 연결한 변형된 Attention Mechanism 기반의 LSTM (MA-LSTM)을 제안한다. MA-LSTM은 기존의 시계열화되어 있는 데이터를 첫 번째 LSTM에 넣고, 여기서 추출된 attention 요소들을 두 번째 LSTM에 넣어 학습한 후, 최종적으로 Attentaion 레이어에서 결합하는 형태를 취한다. 이를 통하여 소수의 데이터를 가지고 보다 정확하게 특성에 기초하여 학습 및 예측하는 특징을 가진다. 본 연구에서는 실제 전력수요 데이터의 예측을 통하여, 제안된 프레임웍을 ARIMA 및 LSTM과 비교하여 그 우수성을 실험적으로 보여준다.

다국어 초록 (Multilingual Abstract)

This research focuses on an electricity demand forecasting framework, which is an essential component of an efficient smart grid system. While time-series analysis and neural network-based approaches have been applied, non-linearity and few number of data are considered main issues. In order to overcome these issues, the research proposes a Modified Attention-based Long Short Term Memory(MA-LSTM) which combines two LSTMs with one Attention layer. While the first LSTM handles the original data, the second LSTM module handles attention-based context features extracted from the data. Then, these are combined with an attention layer. For this manner, the more accurate features are trained with a small number of data in the proposed MA-LSTM. In order to show the effectiveness of MA-LSTM, the real electricity data forecasting is conducted and compared with ARIMA and LSTM methods.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 배경 및 문헌 연구
• 3. 전력 데이터 예측 비교를 위한 모델
• 4. 실험 및 예측 성능 결과
• 5. 결론
• References

참고문헌 (Reference)

• 1 진우정, "콘볼루션 신경망을 이용한 센서 데이터로부터의 행동 유형 파악과 효과적인 센서 데이터 압축" 한국정보과학회 45 (45): 564-571, 2018
• 2 김수현, "조건적 제한된 볼츠만머신을 이용한 중기 전력 수요 예측" 한국전기전자학회 23 (23): 127-133, 2019
• 3 유대선, "전력기기 특성 및 가동 지연 불편도를 고려한 실시간 급작 수요 협상 프레임웍 기반 스마트 그리드 시스템" 대한전기학회 68 (68): 405-415, 2019
• 4 김광호, "원-핫 인코딩을 이용한 딥러닝 단기 전력수요 예측모델" 한국전기전자학회 23 (23): 852-857, 2019
• 5 정호철, "에너지인터넷에서 1D-CNN과 양방향 LSTM을이용한 에너지 수요예측" 한국전기전자학회 23 (23): 134-142, 2019
• 6 박인찬, "시계열 모형을 이용한 주가지수 방향성 예측" 한국데이터정보과학회 20 (20): 991-998, 2009
• 7 이현수, "스마트 팩토리에서의 제조 IoT 디바이스 간 통신을 위한 임베디드 시스템 프레임워크 및 구축" 한국지능시스템학회 27 (27): 459-465, 2017
• 8 Saleh Saif, "스마트 팩토리에서의 로봇 암 제어를 위한 사이버 물리 시스 템 구현 및 시뮬레이션" 한국지능시스템학회 29 (29): 308-315, 2019
• 9 심민규, "스마트 그리드(스마트 에너지)의 스마트 시티에의 통합에 대한 문헌 연구" 한국전자거래학회 25 (25): 35-43, 2020
• 10 김도현, "딥러닝 모델 기반 단기 전력수요 예측" 대한전기학회 68 (68): 1094-1099, 2019
• 11 강세연, "기존기법과 ARIMA기법을 활용한 최종 침하량 예측에 관한 비교 연구" 한국지반환경공학회 20 (20): 29-38, 2019
• 12 조세원, "기상에 대한 동네예보를 활용한 제주도의 특수일 전력수요예측 알고리즘" 한국조명.전기설비학회 33 (33): 1-8, 2019
• 13 안병훈, "계절 ARIMA 모형을 이용한 국내 지역별 전력사용량 중장기수요예측" 한국산학기술학회 16 (16): 8576-8584, 2015
• 14 김시연, "계절 ARIMA 모형을 이용한 104주 주간 최대 전력수요예측" 한국조명.전기설비학회 28 (28): 50-56, 2014
• 15 L. Gao, "Video captioning with attention-based LSTM and semantic consistency" 19 (19): 2045-2055, 2017
• 16 Box GEP, "Time Series Analysis : Forecasting and Control" Wiley 2008
• 17 P. Mondal, "Study of effectiveness of time series modeling(ARIMA)in forecasting stock prices" 4 (4): 13-, 2014
• 18 K. Maciejowska, "Short-and mid-term forecasting of baseload electricity prices in the U.K: the impact of intra-day price relationships and market fundamentals" 31 (31): 2016
• 19 G. Xue, "Prediction of natural gas consumption for city-Level DHS based on attention GRU : A case study for northern Chinese city" 7 : 130685-130699, 2019
• 20 W. Charytoniuk, "Nonparametric regression based short-term load forecasting" 13 (13): 725-730, 1998
• 21 H. Hippert, "Neural networks for short-term load forecasting : A review and evaluation" 16 : 44-55, 2001
• 22 D. Bahdanau, "Neural machine translation by jointly learning to align and translate" 2015
• 23 E. Gonzalez-Romera, "Monthly electric energy demand forecasting based on trend extraction" 21 (21): 1946-1953, 2006
• 24 S. Hochreiter, "Long short-term memory" 9 (9): 1735-1780, 1997
• 25 H. Lee, "Framework and development of fault detection classification using IoT device and cloud environment" 43 (43): 257-270, 2019
• 26 박천음, "FastText와 셀프 매칭 어텐션 기반 포인터 네트워크를 이용한 한국어 상호참조해결" 한국정보과학회 24 (24): 635-641, 2018
• 27 B. Jatin, "Empirical mode decomposition based deep learning for electricity demand forecasting" 6 : 49144-49156, 2018
• 28 MH. Amini, "ARIMA-based demand forecasting method considering probabilistic model of electric vehicles’parking lots" 1-5, 2015
• 29 J. Contreras, "ARIMA models to predict next-day electricity prices" 18 : 1014-1020, 2003
• 30 SM. Idress, "A prediction approach for stock market volatility based on time series data" 7 : 17287-17298, 2019
• 31 H. Yang, "A practical pricing approach to smart grid demand response based on load classification" 9 (9): 179-190, 2018
• 32 G. Zhang, "A novel method for hourly electricity demand forecasting" 35 (35): 1351-1363, 2020
• 33 J. Taylor, "A comparison of univariate methods for forecasting electricity demand up to a day ahead" 22 (22): 1-16, 2006