심층신경망(Deep Neural Network)은 자율 주행 자동차, 보안, 의료 분야와 같은 실시간으로 동작하면서 정확한 판단이 요구되는 분야들에서 점점 주목 받고 있다. 이러한 분야에서 심층신경망의 안정적인 동작이 보장되어야 한다. 최근 반도체 공정이 점점 미세화 됨에 따라 심층 신경망에 영향을 줄 수 있는 다양한 결함(Fault)들이 발생하고 있다. 이러한 결함들로 인해 심층 신경망의 가중치(Weight) 값에 변화가 생기면, 심층 신경망의 추론에 오류가 생겨, 안전이나 보안 등 정확한 추론이 중요한 분야에서 치명적인 문제를 일으킬 수 있다. 이를 극복하기 위해서는 심층신경망의 추론하는 과정에서 오류가 발생해도 이를 감내할 수 있는 방법에 대한 연구가 필요하다. 하지만 기존의 연구들은 심층신경망의 전반적인 오류에 대한 강건성을 높여주는 방법을 제시해주었지만, 심층 신경망이 분석한 데이터를 최종적으로 분류해주는 분류기(Classifier)의 오류에 대한 강건성을 제공하기 위한 적합한 방법을 제시하지 못하고 있다. 본 논문에서는 심층신경망의 분류기의 오류에 대한 취약성을 분석하고, 분류기에서 발생하는 오류가 심층신경망의 정확도에 치명적인 영향을 줄 수 있음을 확인하였다. 따라서 본 논문에서는 오류에 매우 강건한 특징을 갖는 이진화 벡터를 활용해서 이런 분류기의 취약성을 강화하는 것과 동시에 기존의 심층신경망의 강건성을 위한 연구들과도 쉽게 결합하여 적용할 수 있는 이진화 벡터 분류기를 제안한다. 다양한 이미지 분류 심층신경망 모델을 이용해 해당 이진화 벡터 분류기를 실험해 본 결과, 이진화 벡터 분류기를 사용할 경우, 기존의 One Hot Encoding 방식을 사용하는 심층신경망의 분류기에 비해 필요한 메모리 용량이 작고, 곱셈 연산이 필요 없고, 낮은 메모리 오류율에서 갑작스런 정확도 하락이 나타나지 않고 부동소수점을 사용하는 기존 분류기 대비 평균 CIFAR10은 약 220배, CIFAR100은 2000배 강건함을 확인할 수 있었다.
Deep Neural Networks are increasingly used in areas that require accurate judgment while operating in real time, such as autonomous vehicles, security, and medical fields where stable operation of the deep neural network should be guaranteed. Recently, as a process technology scales down, a smaller memory feature size and a low operation voltage make the memory vulnerable to errors. If these errors cause changes in the weight value of the deep neural network, errors in the inference of the deep neural network, which can cause fatal problems in areas where accurate inference such as safety and security is important. To overcome this, it is necessary to study how to endure errors in the process of inferring deep neural networks. However, many researches suggested the ways to increase the robustness of overall errors in deep neural networks, but they could not suggest suitable methods to provide robustness to errors in classifiers that finally classify data analyzed by deep neural networks. In this paper, analyze the vulnerability of classifiers in deep neural networks and it was confirmed that errors occurring in classifiers could have a fatal effect on the accuracy of deep neural networks. Therefore, this paper proposes a binary vector classifier that can be easily incorporated with existing studies for robustness of deep neural networks while enhancing the robustness of classifiers by utilizing binary vectors which have high robust characteristics.
