Parallel CNN-LSTM based load forecasting and anomaly detection of combined heat and power plant = Parallel CNN-LSTM 기반의 부하예측 및 열병합 발전 이상탐지
지구온난화에 따른 환경 변화가 전세계적으로 나타남에 따라 한국에서도 온실가스 배출 감소를 목표로 석탄기반의 화력발전 감축과 이를 재생에너지로 대체하기 위한 방안을 모색하고 있다. 하지만 기존 탄소기반 발전(發電)체제를 기반으로 하는 제도와 인프라, 인력으로 인해 신속한 에너지 체제 전환이 어렵다. 이러한 이유로 열병합 (combined heat and power, CHP) 발전은 기존 화력발전 인프라 활용이 가능하다는 장점과 열과 전력을 동시에 생산하며 일반 복합발전 대비 높은 효율을 가지고 있어 기존 화력발전의 대체체제로 주목받고 있다.
하지만 CHP 발전은 높은 발전 효율과 인프라 활용 가능성에 불구하고 단점도 가지고 있는데, 그 중 하나가 잉여 열에너지 발생으로 인한 경제적 손실이다. 전력의 경우 저장이 용이해 추후 판매가 가능한 반면 열 에너지는 고온의 액체와 증기 상태이기 때문에 저장효율이 매우 낮아 손실을 유발한다. 또한 CHP 엔진은 화력발전과 유사하게 액화천연가스를 연소하고 터빈을 작동하는 방식으로 고온∙고압의 환경에서 운영되기 때문에 이상(異常)과 결함이 발생할 가능성이 높다. 엔진 관리가 적절히 이루어지지 않을 경우 연료 소비와 온실가스 배출이 증가할 수 있으며 갑작스러운 운행 중단의 위험이 있기 때문에 이상관리는 필수적이다. 이에 다음 세 연구를 통해 CHP 발전 효율 향상과 경제 손실 감소를 위한 열 부하 예측모델과 엔진 이상탐지 모델을 제안한다.
첫 번째, 열 부하 파생 변수와 LSTM을 사용한 부하예측 모델을 제안한다. 열 부하는 수용가의 열 사용량에 영향을 받기 때문에 지역난방 파생변수와 사용자의 사용량에 영향을 주는 기상, 공휴일 정보를 단계적으로 추가하며 모델의 정확도를 높인다. 실험 결과 공휴일 정보를 기반으로 생성한 열 부하 파생변수를 학습한 모델의 성능이 가장 우수하다. 기본 지역난방 관련 변수들만 사용한 모델 대비 열 부하 파생 변수들을 추가한 모델의 MAPE가 18.37에서 15.32로 약 3.05 감소, MSE는 1.31에서 1.23으로 약 0.08 감소하는 것을 확인할 수 있다. 본 연구의 결론을 기반으로 두 번째 연구에서는 파생변수를 확장하고 모델의 네트워크 구조를 고도화한다.
두 번째, CNN과 LSTM을 parallel하게 결합하고 attention mechanism을 추가한 parallel CNN-LSTM attention (PCLA) 모델을 제안한다. CHP 발전 로그는 multivariate time series 데이터이므로 temporal feature 뿐만 아닌 spatial feature도 추출해 학습할 필요가 있다. 이를 위해 선행 연구들은 CNN과 LSTM을 serial하게 결합한 모델을 제안했으나, 이에는 input data에서 직접 temporal feature를 추출할 수 없고 CNN에서 추출한 spatial feature도 손상된다는 문제가 있다. 따라서 본 연구에서는 CNN과 LSTM을 parallel하게 결합해 spatial feature와 temporal feature를 추출하고, 이 중 중요한 요인을 집중 학습하기 위해 attention mechanism을 결합한 PCLA를 제안한다. PCLA의 열 부하 예측 우수성을 증명하기 위해 선행 연구들이 제안한 statistical analysis, shallow machine learning, deep learning, 그리고 CNN과 LSTM을 결합한 hybrid deep learning 모델 12개와 비교한다. 이에 더해 첫 번째 연구에서 증명한 파생변수의 효용성에 따라 공휴일, 요일, 시간을 기준으로 열 부하 파생변수를 추가해 모델을 학습한다. 그 결과 PCLA의 성능은 MAE와 MSE가 0.571, 0.662로 가장 낮으며, R-squared 0.942로 가장 높은 것을 확인했다. 이를 통해 CNN과 LSTM을 serial하게 결합한 모델보다 parallel하게 결합한 모델이 multivariate time series 데이터의 spatiotemporal feature를 추출하고 학습하는데 우수하며, attention mechanism을 통해 예측 정확도를 더 높일 수 있음을 증명한다.
세 번째, CNN, LSTM, residual block, attention mechanism을 결합한 parallel CNN-LSTM residual attention (PCL-Res-Att) 이상탐지 모델을 제안한다. PCL-Res-Att 모델은 CNN과 LSTM을 사용해 feature를 추출하고 residual block을 사용해 손실된 정보를 보완한다. 그리고 attention mechanism을 사용해 중요한 spatiotemporal feature를 추출해 학습하고 이상탐지 결과를 도출한다. 엔진 이상탐지 모델 학습 데이터인 엔진 시스템 로그 데이터 또한 multivariate time series 데이터이기 때문에 CNN과 LSTM 결합모델을 통한 spatiotemporal feature를 추출하고 학습하는 것이 중요하다. 이를 위해 본 연구에서는 PCLA에 residual block을 결합해 모델의 성능을 고도화한 엔진 이상탐지 모델 PCL-Res-Att을 제안한다. PCL-Res-Att의 이상탐지 성능 우수성을 증명하기 위해 CNN, LSTM, 그리고 CNN과 LSTM의 serial, parallel 결합 모델에 residual block과 attention mechanism을 단계적으로 결합한 9개 모델과 비교한다. 그리고 CHP 엔진 3대, 5개 계통, 총 15 케이스에 모델들을 적용해 실험 결과를 도출한다. 그 결과 PCL-Res-Att의 macro f1-score가 0.951±0.033 (mean ± standard deviation), abnormal f1-score가 0.903±0.064, 그리고 accuracy가 0.999±0.002로 가장 우수하다. 이를 통해 CNN과 LSTM의 parallel한 결합 모델이 multivariate time series 데이터의 spatiotemporal feature를 추출하고 학습하는데 우수함을 증명한다. 또한 attention mechanism 대비 residual block을 통한 손실된 정보 보완이 이상탐지 정확도 향상에 더 기여하지만, 모두 사용했을 때 성능이 크게 향상됨을 확인할 수 있다.
As the environment changes because of global warming, Korea is seeking ways to reduce coal-based thermal power generation and replace the associated infrastructure with renewable energy technologies to reduce greenhouse gas emissions. However, rapidly transforming energy systems and infrastructure to achieve this is highly challenging because of the complexity and cost associated with the existing carbon-based power generations systems. Hence, combined heat and power (CHP) that produce heat and power simultaneously with higher efficiency than commonly applied techniques and can utilize the existing thermal power generation infrastructure have attract attention as an alternative to conventional thermal power generation.
However, CHP systems involve some disadvantages in spite of their high-power generation efficiency and ability to utilize existing infrastructure, including economic losses associated with the generation of surplus thermal energy. In contrast to electricity, which can be stored relatively easily and subsequently sold, thermal energy is transmitted in the form of high-temperature liquid and vapor, and the storage technologies for these fluids are highly inefficient, causing losses. In addition, with designs similar to those of thermal power systems, CHP engines burn liquefied natural gas to operate a turbine. Owing to the high-temperature and pressure environment, abnormalities and defects in the operation of such systems are highly probable. As a result, failure to manage engine systems properly may lead to increased fuel consumption and greenhouse gas emissions. Critically, these faults also involve some risk of sudden operational stoppage. Hence, the management of abnormal engine condition is essential. Therefore, through the following three studies, I propose a heat load forecasting model and an engine anomaly detection model for improving CHP efficiency and reducing economic loss.
First, a load forecasting model using heat load derived features and long-short term memory (LSTM) is proposed. Because the heat load of CHP is affected by consumer demand for heating, the performance of the model is improved by adding features derived from local district heater along with meteorological information and information on holidays that affect the energy consumption of users over different time periods. As a result of the experiment, the model training the heat load derived features based on the holiday information has the best performance. Experimental results show that the mean absolute percentage error (MAPE) of the proposed approach decreased by approximately 3.05 from 18.37 to 15.32 when these features were added compared to only using the basic features of the district heater; further and mean squared error (MSE) decreased by approximately 0.08 from 1.31 to 1.23. Based on the conclusions of this study, the second study expands the derived features and upgrades the network structure of the model.
In the second study, a parallel CNN-LSTM attention (PCLA) model that combines CNN and LSTM parallelly and adds attention mechanism is proposed. Since the CHP system and engine log is in the form of multivariate time series data, it is necessary to extract and train spatial features as well as temporal features from the data. To this end, related research has proposed serially combined models of CNN and LSTM, but this has the problem that temporal features cannot be extracted directly from input data and the spatial features extracted from CNN are damaged. Therefore, in this study, I propose a PCLA that extracts spatial and temporal features by parallelly combined CNN and LSTM, and to focus on learning important factors by attention mechanism. The superiority of heat load forecasting in PCLA is demonstrated by compare PCLA with 12 statistical analysis, shallow machine learning, deep learning, and hybrid deep learning models that combine CNN and LSTM, proposed by related research. In addition, based on the utility of derived features demonstrated in the first study, the model is trained by adding heat load derived features based on holidays, days of the week, and time. Experimental results are provided to demonstrate the forecasting accuracy of the proposed approach, which achieved the lowest values of the mean absolute and mean squared errors among 12 models used for comparison, including serial coupled model, with values of 0.571 and 0.662, respectively. Moreover, it achieved the highest R-squared value of 0.942. This proves that the parallelly combined CNN-LSTM model is better at extracting and training spatiotemporal features of multivariate time series data than the serially combined model, and the forecasting performance can be improved through attention mechanism.
In a third study, I propose a parallel convolutional neural network-long short-term memory (CNN-LSTM) residual attention (PCL-Res-Att) anomaly detection model that combines CNN and LSTM with residual blocks and the attention mechanism. In the PCL-Res-Att model, features are extracted in parallel from the CNN and LSTM and the residual blocks are used to compensate for the loss of information. An attention mechanism focuses the model on the extracted spatiotemporal features that are important to identify anomalies to derive the detection results. Since engine system log data is also multivariate time series data, it is important to extract and train spatiotemporal features through CNN-LSTM. To this end, this study proposes the engine anomaly detection model PCL-Res-Att, which enhances the performance of the model by combining residual blocks with the PCLA. To demonstrate the superiority of anomaly detection performance of PCL-Res-Att, this study compares CNN, LSTM, and serially and parallelly combined CNN-LSTM models with residual blocks and attention mechanisms. Ten models, including the proposed model, were tested with total of 15 cases based on log data from three CHP engines divided into five systems. The results show that PCL-Res-Att achieved the best performance with a macro f1-score (mean ± standard deviation) of 0.951±0.033, abnormal f1-score of 0.903±0.064, and accuracy of 0.999±0.002. From this, I prove that the parallel CNN-LSTM is excellent at extracting and learning the spatiotemporal feature of the multivariate time series data. In addition, the supplementation of information through residual blocks compared to attention mechanism contributes more to the improvement of anomaly detection performance, but it improves significantly when both are used.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)