KCI등재
LSTM 영어학습자 언어모델의 동적 LSTM 네트워크 활성에 대한 분석: 주어 동사간의 수일치 작업 = Analysis of dynamic LSTM network activation in LSTM English learner language model: Subject-Verb Number Agreement task
저자
발행기관
학술지명
韓國컴퓨터情報學會論文誌(Journal of the Korea society of computer and information)
권호사항
발행연도
2023
작성언어
Korean
주제어
등재정보
KCI등재
자료형태
학술저널
발행기관 URL
수록면
13-21(9쪽)
제공처
In this paper, we propose an approach to analyze the dynamic LSTM network activation in an LSTM English learner language model trained on a large corpus of English-speaking learners. The objective is to examine the relationship between network activation and performance on the Subject-Verb Number Agreement task. By employing a NA-task probing classifier and conducting ablation experiments, activation patterns are evaluated at each time step. The results reveal a strong link between network activation and the classifier's performance. The proposed model achieved 99.57% accuracy on the evaluation dataset for the NA-task, demonstrating its acquisition of correct grammar rules and accurate prediction ability. To analyze the influence of internal neurons on NA-task processing, specific LSTM neurons are removed and the model's performance is examined. Removing neuron 776 resulted in a more than 10% decrease in performance for plural subjects, while removing neuron 988 led to a 10% decrease in performance for singular subjects compared to the model before removal.
더보기본 논문에서는 대규모 영어학습자들의 말뭉치에서 학습된 LSTM 영어학습자 언어모델의 동적LSTM 네트워크 활성을 분석하는 방법을 제안한다. NA-task 탐색 분류기(주어와 동사 간의 수일치작업)를 전이 학습시키고 LSTM 네트워크에서 각 시점에서의 활성 및 LSTM 뉴런 유닛의 제거를통해 성능을 평가하였다. 실험 결과는 LSTM 네트워크 활성이 NA-task 탐색 분류 성능에 영향을미치는 것으로 나타났다. NA-task 탐색 분류 모델은 NA-task에 대해 평가 데이터셋에서 99.57%의정확도를 달성하여 올바른 문법 규칙을 습득하고 정확한 예측 능력을 갖고 있음을 보여주었다.
NA-task 처리에 대한 내부 LSTM 뉴런의 영향을 분석하기 위해 특정 LSTM 뉴런을 제거하고 모델의 성능을 평가 비교하였다. 뉴런 776을 제거한 결과, 복수 주어의 경우 성능이 10% 이상 감소하였으며, 뉴런 988을 제거한 결과, 단수 주어의 경우 성능이 제거 전 모델과 비교하여 10% 감소한 것으로 나타났다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)