Generalisierung und Optimierung der Cascade-Correlation-Architekturen unter Verwendung von neuen Aktivierungsktionen
저자
발행사항
Dortmund : Univ. Dortmund, 1998
학위논문사항
Thesis(doctoral)-- Univ. Dortmund 1998
발행연도
1998
작성언어
독일어
주제어
KDC
566.1 판사항(4)
발행국(도시)
독일
형태사항
iv, 221 p. ; 26cm.
소장기관
이논문에서는 새로운 차원의 활성화함수(Activation function)를 사용한 Cascade-Correlation 설계의 일반화(generalization)와 최적화(optimization)에 관하여 연구하였고 내용상 아래와 같이 구성되었다.
1장에서는 이 논문의 주제를 선택한 동기와 논문의 개요에 관하여 기술하였다.
2장에서는 신경회로망의 일반적인 특징과 기능에 관하여 논하였다. 우선 신경회로망의 최초의 모델인 퍼셉트런(Perceptron)과 간단한 선형모델 그리고 이에 따른 신경회로망의 기본적인 학습규칙인 Delta-규칙(rule)을 소개한 후 비 선형구분문제(non-linear separable problem)를 해결할 수 있는 다층 (multiayer) 퍼셉트론(Perceptron)을 위한 Backpropagation 학습알고리즘 소개한다. 이 모델은 신경회로망 분야에서 가장 많이 이용하는 일반적인 모델이고, 신경회로망의 응용분야에서도 주로 사용되는 신경회로망설계이다.이어서 Backpropagation 알고리즘의 단점들을 보완한 수정된 학습규칙(예: Quickpropagation; Cascade-Correlation 네트웍의 학습을 위한 알고리즘)들을 소개한다.
3장에서는 S. E. Fahlman과 C. Lebiere에 의해서 제안된 Cascade-Correlation 네트웍과 그의 수정된 모델들을 소개한다.Cascade-Correlation 알고리즘은 네트웍의 크기와 위상(topology)을 자동으로 결정한다. 학습집합(training set)에 변화가 있을 때 한 번 학습한 구조를 그대로 유지하므로 Backpropagation에서와 같이 네트웍의 출력에서 입력으로 전달되는 후진방향의 오차시그널을 필요로 하지 않는다. 초기네트웍은 은닉뉴런 없이 단지 입력뉴런들과 출력뉴런들의 완전연결(full connection)로 구성하고 각 학습단계마다 새로운 은닉뉴런이 생성되어 네트웍의 한 은닉층에 하나씩 단계적으로 첨가된다. 이때마다 선택된 가중치값(weight value)들은 고정된다. 이와 함께 입력데이터에 있는 특별한 부분패턴들을 위한 정보들이 인지된다. Cascade-Correlation네트웍은 한 은닉층에 한 뉴런만이 생성되므로 깊은 (deep) 네트웍을 형성하기 때문에 각 은닉뉴런은 항상 큰 fan-in을 갖고 있다. 다음에는 N.Simon, H. Corporaal과 E. Kerckhoffs에 의해서 수정된 Cascade-Correlation 네트웍을 소개한다. 이 알고리즘은 네트웍이 성장할 때마다 네트웍의 출력뉴!
런!
의 수와 같은 수의 은닉뉴런이 생성되어 단계적으로 네트웍에 첨가된다. 따라서 한 은닉뉴런이 단지 한 출력뉴런의 잔여오차(residual error)의 수정에만 기여함으로 네트웍의 수렴(convergency)을 촉진(acceleration)시킬 수 있다. 이에 반해 Standard-Cascade-Correlation 네트웍에서는 잔여오차가 모든 출력뉴런들의 출력의 합산을 통하여 수정된다. 이어서 S. E. Fahlman에 의해서 제안된 Cascade-Correlation 네트웍의 수정 모델인 Recurrent(순환) Cascade-Correlation 네트웍을 소개한다.
4장에서는 신경회로망을 위한 새로운 차원의 두 개의 비 단순(non-monotonic) 활성화함수를 소개한다. 한 활성화함수는 CosExp라 칭하고 이 함수는 Cosine 함수가 지수함수(exponential function)에 의해서 감폭(damping)되었다. 다른 하나는 CosGauss라 칭하고 이 함수는 Cosine 함수가 가우스함수(gaussian function)에 의해서 감폭(damping)되었다. 이 두 함수는 각기 축대칭을 이루고 감폭진동의 곡선을 갖고 있다. 이 곡선은 x축에 점근적으로 접근한다. 여기에서 Cosine곡선은 2개의 지수곡선(CosExp 함수)과 가우스곡선(CosGauss 함수)에 의하여 싸여있다. 이 두 함수와 다른 활성화함수들과의 근본적인 차이점은 입력공간에서 패턴들의 구분에 역할을 하는 함수들의 극점들의 숫자이다. 이 두 함수는 다른 함수들보다 더 많은 극점들을 갖을 수 있고 극점들의 수, 높이, 넓이, 크기 그리고 위치를 그 함수의 매개변수값(parameter value)들의 크기에 따라서 정할 수 있다. 신경회로망의 에뮬레이션을 위하여 네트웍의 층과 뉴런들은 다음과 같은 조건을 만족하여야 한다:그들은 한 상수와 함께 제한되어야하고 지수적인 성장과 한 일정한 오차경계(err!
or!
bound)에 근사(approximation)해야 한다. 다음과 같은 함수들은 이를 만족하는 함수들이다:sigmoid 함수; 지수적이지 않은 유리함수; 루트함수 xα(윗첨자 α입력 불가) α? N ; logα(x), α> 1;exp(x) ;exp(-x²) . CosGauss 함수가 이에 속하는 활성화함수임을 보여주기 위하여 이 두 함수를 사용한 신경회로망이 운형(spline)네트웍을 에뮬레이션 할 수 있음을 증명한다. 이를 위하여 CosGauss 활성화함수가 폴리놈(polynom)들과 계단함수(step function)들을 근사(approximation)할 수 있음을 보여준다. 같은 입력을 갖고 있는 두 신경회로망이 동일한 출력을 양산하는 것을 보여주기에는 충분하지 않으나 그들은 네트웍의 깊이가 한 상수와 함께 성장하는 동안에 네트웍의 크기는 지수적으로 성장할 수 있다. CosExp함수는 0에서 미분불능이므로 조건을 만족시키지 못하지만 그 이외의 범위에서는 미분이 가능하고 approximation할 수 있기 때문에 각 패턴의 입력값들이 0이 아닌 경우에는 실험에서 사용할 수 있다.
5장에서는CosExp와 CosGauss 활성화함수의 성능평가를 위한 실험들에 관하여 기술하였다. 우선 Cascade-Correlation 네트웍의 학습을 위한 여러 학습파라미터들을 소개한 후 학습평가를 위한 실험을 위하여 세 기준문제(benchmark-problem)들을 선택했다,Iris-Plant 문제,Tic-Tac-Toe문제 그리고 Monks문제. 한 기준문제의 해결을 위한 실험들은 Cascade-Correlation 네트웍을 이용하여 우선 학습데이터(training data)들과 함께 모든 학습을 마친 후 학습을 완료한 이 네트웍을 이용하여 다시 테스트데이터(test data)들과 함께 테스트한다. 이러한 실험을 각기 10번 씩 진행시킨 후 평균값을 취하여 다른 활성화함수들과 함께 실험하여 나온 결과치들과 비교하여 학습속도평가와 일반화능력 평가를 하였다. 여기에서 모든 실험들은 같은 조건하에서 이루어지고 CosExp 와 CosGauss 활성화함수들에 일정한 매개변수의 값들이 주어진다.
6장에서는 Cascade-Correlation 네트웍의 일반화에 관하여 논하였다. 후보뉴런들을 위한 풀(pool)을 두 그룹으로 나누었다. 첫 번째 그룹에 속한 후보뉴런들은 모든 입력뉴런들, 바이어스 그리고 이미 생성된 모든 은닉뉴런들과 연결한다. 두 번째 그룹에 속한 후보뉴런들은 모든 입력뉴런들,바이어스 그리고 같은 층에 나열되지 않은 모든 은닉뉴런들과 연결한다. 기회균등의 원칙에 의하여 두 그룹은 같은 수의 후보뉴런들로 구성되어야 한다. 같은 그룹에 속한 모든 후보뉴런들은 같은 입력시그널과 각 패턴들에 의하여 야기된 네트웍의 같은 잔여오차를 갖고 있다. 모든 후보뉴런들은 서로 영향을 주고받지 않기 때문에 병렬(parallel)로 학습할 수 있다. 네트웍의 학습이 일정한 기준(criterion)에 도달하면,즉 학습을 위하여 주어진 파라미터값에 도달하면, 후보뉴런들 중에서 가장 좋은 한 뉴런이 은닉뉴런으로 선택되어 네트웍에 첨가된다. 만약에 뉴런이 첫 번째 그룹에서 선택되면 네트웍이 수직성장하고 두 번째 그룹에서 선택되면 수평으로 성장한다. 이 일반화된 네트웍은 sonar 문제와 glass 문제를 갖고 성능실험을 하였다. 여기에서 성능비교를!
�
㎸臼�CosExp함수는 sigmoid 함수와
CosGauss함수는 tanh함수와 비교하여 평가하였다.
7장에서는 학습하기 어려운 기준문제중의 하나인 두 나선문제(two-spirals-problem)의 효과적인 해결을 위하여 연구하였다. 여기에서 효과적인 해결이란 학습완료 후 가급적 작은 네트웍을 형성하여 두 나선을 정확히 구분함을 의미한다. 이 장은 sigmoid 함수를 출력뉴런에 고정하여(첫째 부분) 또는 후보뉴런과 은닉뉴런에 고정하여(둘째 부분) 사용하느냐에 따라서 두 부분으로 나누어 진다. 첫째 부분에서는Cascade-Correlation 네트웍의 후보뉴런과 은닉뉴런에 여러 활성화함수를 사용하여 각각 실험하였고 이들의 결과를 비교하였다. 둘째 부분에서는CosExp함수와 CosGauss 함수를 출력뉴런에 사용하여 실험하였다. 그 후에 두 활성화함수를 사용하여 Cascade-Correlation 네트웍의 최적화(optimization)를 이루기 위하여 두 가지 방법을 제안하였다. 첫 번째 방법으로 네트웍의 출력뉴런이 한 활성화함수(CoExp함수 또는 CosGauss함수)와 활성화한 후 또 하나의 선형 threshold 활성화함수를 추가로 고정하였다. 따라서 출력뉴런의 활성화 값이 0.85 이상일 때 네트웍의 최종출력은 1의 값을 갖고 그의 값이 0.15 이하일 때는 네트웍의 최종출력은 0의 �
だ!
�갖는다. 그 이외의 경우에 있어서는 최종출력은 출력뉴런의 이전의 활성화값과 같은 값을 갖는다. 두 번째 방법으로 후보뉴런들을 위하여 네트웍은 8개의 풀로 구성되고 한 풀에는 같은 활성화함수를 갖는 4개의 후보뉴런들로 구성된다.각 풀은 서로 다른 파라미터값을 갖고 있는 sigmoid 활성화함수루 이루어졌다. 즉 활성화함수들은 sigmoid 함수와 sigmoid 함수가 x축 또는 y축 위에서 이동된 함수들로 구성된다. 이 변형된 Cascade-Correlation네트웍을 사용하여 학습한 후 패턴공간에서 구분되어진 지역들을 그림을 통하여 나타내고 학습하는 동안 네트웍이 취한 은닉뉴런들의 활성화함수들을 표에 기입하였다. 계속적인 네트웍의 최적화(optimization)를 위하여 유전자알고리즘(genetic algorithm(GA))을 이용하여 활성화함수의 각 파라미터값들을 구하고 이를 사용하여 실험하였다. 여기에서 신경회로망(NN)과 GA는 서로 호환관계를 갖고 있다. GA를 이용하여 선택된 파라미터값들은 NN(Neural Network)의 각 학습단계마다 활성화함수의 파라미터에 자동으로 대입되어 출력을 계산한다.
8장에서는 Recurrent(순환)-Cascade-Correlation 네트웍의 일반화를 위한 설계에 관하여 기술하였다. 이 새로운 일반화된 순환네트웍의 일반화를 위한 설계에 관하여 기술하였다. 이 새로운 일반화된 순환네트웍의 학습알고리즘은 6장에서 소개한 일반화된 Cascade-Correlation 네트웍의 알고리즘과 같다. 다만 모든 후보뉴런들과 이에 따른 은닉뉴런들이 이전의 학습단계에서 얻은 정보를 갖고있는 순환연결에 의한 부가적인 입력시그널과 함께 학습하는 것이 다르다. 이 네트웍은 Morse 문제(시간에 종속되는 문제)와 Zoo 문제(시간에 종속되지 않는 문제)에 관하여 실험을 하였다.
9장에서는 6장과 8장에서 일반화된 두 네트웍을 조합한 새로운 네트웍의 설계에 관하여 연구하였다. 이 네트웍은 학습동안에 우아(elegant)하고 콤팩트(compact)한 네트웍을 자동으로 형성한다. 네트웍의 첫 번째 성장에서는 네트웍이 은닉뉴런의 순환 또는 비 순환으로 수직성장을 한다. 계속되는 네트웍의 성장에서는 네트웍이 은닉뉴런의 순환 또는 비 순환으로 수평성장 또는 수직성장을 한다. 이 새로운 네트웍은 Morse 문제 Balance-Scale 문제(시간에 종속되지 않는 문제)와 Contact Lenses 문제(시간에 종속되지 않는 문제)에 관하여 실험을 하였다. 이어서 계속적인 일반화실험을 위하여 Vapnik-Chervonenkis(VC)-Dimension의 소개와 이에 따른 실험을 Balance-Scale 문제와 contact-lenses 문제에 대하여 하였다. 이 실험에서는 우선 학습패턴(70%)들과 테스트패턴(30%)들을 임의로 선택하고 최소의 학습패턴들 이 남을 때까지 각 실험마다 일정한 학습패턴들의 숫자를 줄인 상태에서 학습완료 후, 이 네트웍들을 테스트패턴들과 실험하여 이 패턴들이 입력공간에서 정확히 구분되었는지를 조사한다. 각 실험마다 학습패턴들의 숫자를 일정하게 줄임으!
로!
인하여 탐색공간(search space)이 작아지고 이에 따라서 생기는 학습오차들의 상태를 각 활성화함수에 대하여 보여준다.
10장에서는 이 논문의 요약과 앞으로의 계속적인 발전을 위한 연구방향을 제시한다.
The bacteriophage λO protein localizes the initiation of replication to a unique sequence, ori λ through specific protein-DNA and protein-protein interactions.
Conformational changes at ori λ introduced by O protein binding have been reported and their roles have been implicated in the initiation of λ DNA replication. In our studies, we focused on detailed structural basis of the formation of the O protein-ori λ complex(O-some). This work was divided into five Chapters including a general introduction given in Chapter 1, a brief review of genetic, biochemical, and structural data for understanding the mechanism of the initiation of λ DNA replication. As shown in Chapter 2, we found that the O protein exists as a dimer and demonstrated that the active DNA binding species is also a dimer. Dimerization and sequence-specific DNA recognition are specifically mediated through the amino-terminal half of O(O1-162(아래첨자 1-162입력불가)). The binding affinity of O for a single copy of its 19 bp recognition sequence was 2-3 nM.
We also found that the O-some is composed of 4 dimers of O and ori λ DNA, which contains four 19 bp direct repeat recognition sites, i, e., a dimer of O is bound to each repeat(iteron). Moreover, we found that only the amino-terminal DNA binding domain is required for formation of the O-some.
To investigate the structural basis for the unique properties of O protein, we generated a number of carboxy-terminal and internal and internal deletion mutants of O. Experiments with purified mutant proteins, as shown in Chapter 3, indicated that (ⅰ) the deletion mutant retaining amino acid residues 19-110 is the smallest O protein species that can both bind to DNA and form a dimer, (ⅱ) the affinities of all mutant proteins for a single iteron are almost the same, ranging from 2 to 4 nM; (ⅲ) the portion of O that is responsible for dimerization is located between amino acid residues 19 and 85; (ⅳ) the carboxy-terminal domain (O 156-299(아래첨자 156-299입력불가)) is a monomeric species that does not recognize specific DNA sequences but instead, bind non-specifically to duplex DNA; (ⅴ) the linker joining the two structural domains is not required for O function, but its coding sequence of DNA contains several recognition sites for O protein (ori λ); and (ⅵ) a deletion!
m!
utant missing the amino-terminal portion of the carboxyl-terminal domain is still comparably active in the in vitro λdv replication assay.
In Chapter 4, the structural basis of the O protein-DNA complex was studied in detail. Hydroxy radical footprinting was employed to obtain the high resolution structural information about the contacts between the protein and the sugar-phosphate backbone of DNA. The missing nucleoside experiment allowed us to identify energetically important base moieties that may be in contact with bound O protein.
Quantitation of the extent of O-mediated DNA bending indicated that O induces a relatively sharp bend in an individual recognition sequence of 85。 ±5。 . Measurement of the O-induced topological change indicated that a region of DNA or specifically ori λis wrapped around the O protein core in a left-handed fashion with a linking number change of 0.7±0.1 turn.
In Chapter 5, we present direct evidence that the O protein also has the capacity to interact with single-stranded DNA, the first such interaction discovered among prokaryotic origin-binding proteins. The implication of this dual DNA binding specificity of O for the formation of the unwound structure at the A/T-rich region of ori λ is dis cussed. The addition of the λP-DnaB comple x to the O-some produces a new nucleoprotein species with a super-shift in migration. The presence of P and DnaB reduces significantly the amount of O required for binding to single-stranded DNA.
Based on these results, we propose a detailed model for sequential structural changes in ori λ as a consequence of O binding to the origin of λreplication.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)