정확한 DNN 훈련을 위한 저비용 배치 정규화 계산용 Cubic Spline 보간 제곱근 연산기 = Cubic Spline Interpolation Square-root Compute Unit for Cost-efficient Batch-normalization Calculation of Accurate DNN Training

국문 초록 (Abstract)

본 논문은 Deep Neural Network (DNN)의 훈련 중 배치 정규화 단계에서 요구되는 표준편차 연산을 위한 Cubic Spline Interpolation 기반 제곱근 연산기 (CSISR)를 제안한다. 본 연구는 선형 보간법 대비 자원 소모를 줄이고 높은 정확도를 달성할 수 있는 cubic spline 보간법을 적용한 비선형 제곱근 연산 방법을 소개한다. 특히, 룩업테이블을 사용하지 않는 설계 방식을 택하여 하드웨어 면적을 절약하였다. 이로 인해 제안된 연산기는 하드웨어 자원 사용을 최소화하고 에너지 효율을 개선하는 데 기여한다. 본 연산기를 Brain Foating Point 16bit (Bfloat16) 데이터 포맷을 이용하여 Verilog HDL로 구현하고 객체 탐지 모델 YOLOv2 DNN 모델의 배치 정규화 레이어에 적용하여 훈련한 결과, 원래의 PyTorch를 사용한 GPU 연산과 유사한 학습 정확도를 보여주었다. 특히, 구현된 연산기의 평균 오차율은 0.1915%로 높은 정확도를 제공한다. 제안된 제곱근 연산기를 bfloat16 data format을 목표로 설계하고 TSMC 180nm 공정을 사용하여 총 칩 면적과 전력 소모를 측정하였다. 칩 면적은 889.2㎛2로, 기존 기술 대비 86% 작으며, 전력 소모는 0.1572 mW로 기존 기술 대비 79% 낮음으로 평가된다.

다국어 초록 (Multilingual Abstract)

This paper proposes a Cubic Spline Interpolation based square-root (CSISR) compute unit for standard deviation computation required during the batch-normalization layer of Deep Neural Network (DNN) training. This research introduces a non-linear square-root computation method that uses cubic spline interpolation, which reduces resource consumption and achieves higher accuracy compared to linear interpolation methods. In particular, it reduces the hardware area by eliminating the needs for lookup tables which often incur large on-chip memory. We implementing the proposed CSISR in Verilog HDL using Brain floating point 16bit (Bfloat16) data format and applied it to the batch-normalization layer of a object detection model YOLOv2 DNN. Its training result shows similar accuracy to the result of original PyTorch model with GPU. A low average error rate of 0.1915% is obtained. We implemented the proposed CSISR compute unit based on the bfloat16 using TSMC 180nm process. The implementation demonstrates a total chip area of 889.2 µm², which is 86% smaller than the previous circuit [15] (SRT algorithm/fabrication: 65nm/area: 6450.84㎛2/power: 0.764mW), while it offers a power consumption of 0.1572 mW, which is 79 % reduction compared with [15].