딥러닝 모델 설계 지원을 위한 빈발 서브 패턴 추출 및 모듈화
저자
발행사항
청주 : 충북대학교, 2021
학위논문사항
학위논문(석사)-- 충북대학교 : 전기·전자·정보·컴퓨터학부 컴퓨터과학과 2021. 2
발행연도
2021
작성언어
한국어
주제어
KDC
004 판사항(5)
발행국(도시)
충청북도
기타서명
Frequent Sub-Pattern Extraction and Modularization for Deep Learning Modeling Support
형태사항
vii,51 p. : 삽화, 표 ; 26cm
일반주기명
충북대학교 논문은 저작권에 의해 보호됩니다
지도교수:이건명
참고문헌 : p. 50-51
UCI식별코드
I804:43009-000000055426
소장기관
GPU와 같은 하드웨어적인 컴퓨팅 파워의 향상과 ReLU와 같은 알고리즘적인 돌파구는 심층 신경망을 더욱 깊게 구성할 수 있도록 해주었다. 계층이 쌓이면 쌓일수록 심층 신경망은 더욱 향상되고 추상화된 특징을 추출해낼 수 있다. 최근의 딥러닝 모델들은 수 천 개로 이루어진 복잡하고 장황한 형태의 아키텍처를 갖는 경향이 있다. 이러한 장황하고 복잡한 형태의 아키텍처는 개발자에게 모델을 이해하고 모델로부터 통찰력을 얻는 데에 한계가 있다.
장황하고 복잡한 형태의 아키텍처 내에는 몇 개의 서브패턴이 반복적으로 나타난다. '구글넷(GoogleNet)'의 '인셉션 모듈(Inception Module)'이나 '레스넷(ResNet)'의 '잔차 블록(Residual Block)'과 같은 서브패턴은 아키텍처 내에서 하나의 컴포넌트로써 특정 역할을 수행한다. 이러한 컴포넌트들의 조합은 개발자가 딥러닝 모델의 아키텍처를 설계할 때 빈번히 사용된다. 따라서 반복적으로 나타나는 서브패턴은 딥러닝 모델링 과정에서 사용될 수 있기 때문에 이러한 서브패턴을 추출하는 작업은 유의미하다. 이 논문에서는 딥러닝 계층구조로부터 반복적으로 나타나는 서브패턴을 추출하고 그것을 활용하는 방법에 대해 제안한다. 제안하는 서브패턴 추출방법은 서브패턴을 재귀적으로 탐색해낸 후 전체적인 아키텍처를 비교적 간단한 형태로 가시화하는 것이다.
딥러닝 모델의 재사용성의 증대와 모델 설계과정에서의 효율성을 위해 딥러닝 모델링 플랫폼을 제안한다. 제안하는 딥러닝 모델링 플랫폼은 GUI 기반의 모델링 에디터, 모델 데이터베이스, 모델 실행 엔진을 포함한다. GUI 기반의 딥러닝 에디터는 개발자가 딥러닝 모델을 하드코딩 작업 없이 쉽게 설계할 수 있도록 보조한다. 딥러닝 모델 데이터베이스는 설계된 모델정보와 추출한 모듈정보를 관리한다. 딥러닝 모델 실행 엔진은 컴퓨팅 파워를 포함하며, 딥러닝 모델을 학습하고 결과를 예측한다. 또한, 추출한 모듈의 재사용성을 극대화하기 위해 이종 계층 간 연결성 문제를 해결하는 방법을 제안한다. 마지막으로, 오토-케라스(Auto-Keras)의 API를 활용하여 딥러닝 모델링 에디터로부터 직접 생성된 모델의 성능을 개선할 수 있는 딥러닝 모델 아키텍처 튜닝방법을 제안하여 사용자의 편의성과 접근성을 증대한다.
The improvement of hardware-wise computing power using GPU and the algorithmic breakthrough such as backpropagation with ReLU(Rectified Linear Unit) allow us to build deep neural networks more deeper. As layers are stacked hierarchically, deep neural networks are able to extract more advanced and abstracted features. Recent deep learning models tend to have a complex and lengthy architecture which made of thousands layers. There are limits for developers to recognize the model architecture and to get insight from such lengthy and complex architecture.
In a complex and lengthy architecture, several sub-patterns appear repeatedly. Those sub-patterns like 'Inception module’ in GoogleNet or 'Residual block’ in ResNet perform a specific role in an architecture as a component. The combinations of components are frequently used when developers design a deep learning architecture. Therefore, it is meaningful task to extract such frequent sub-patterns for deep learning modeling by using those extracted patterns as components. This thesis propose a method of frequent sub-pattern extraction in hierarchical architecture and a utilization of extracted sub-patterns. The proposed extraction method recursively searches sub-patterns, and then enables to visualize an overall architecture into simplified one.
For better reuse of deep learning model and efficiency of deep learning model design, we propose DL Modeling Platform. The proposed DL Modeling Platform includes GUI-based DL Editor, DL Model Database, and DL Execution Engine. The GUI-based DL Editor supports developers to easily design a deep learning model without hard coding. DL Model Database manages the designed model information and extracted module information. And DL Execution Engine which includes resources for computing power performs training the designed deep learning model and estimating the output. We also propose a novel method to maximize reuse of extracted modules and to solve the compatibility problem between heterogeneous layers. Lastly, we implement a deep learning model architecture tuning method using Auto-keras’ API that is to improve the performance of the directly created architecture from DL Modeling Editor, thereby improving user accessibility and convenience.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)