한국어 특성 기반의 어절 수 변화에 따른 n-gram 성과 비교
저자
발행사항
서울 : 이화여자대학교 대학원, 2017
학위논문사항
학위논문(석사) -- 이화여자대학교 대학원 , 빅데이터분석학협동과정 , 2017. 2. 졸업
발행연도
2017
작성언어
한국어
DDC
005.7
발행국(도시)
서울
기타서명
The comparative study on the performance of n-gram by change of the number of words based on characteristic of Korean language
형태사항
v, 69 p. : 삽화.
일반주기명
지도교수: 신경식
참고문헌: p.60-67
소장기관
Recently, text mining begins to make a mark because of understanding people’s mind and sentiment to specific target. In this field, feature selection is most important on text mining due to varying the performance depending on feature that the researcher choose. A few previous oversea studies have been focused on how to raise the performance of classifier depending on the number of words using n-gram in sentiment analysis. However, a few previous domestic researches have not been focused on n-gram because a large number of researchers have developed the studies that is based on the domain specific lexicon. It is unsatisfactory condition to use n-gram for sentiment analysis in Korean language though n-gram is common and outstanding methodology for feature selection in sentiment analysis.
The purpose of the study is the proof of the effectiveness of n-gram and the consideration of the causes of the performance difference by the number of words using n-gram in sentiment analysis. Most noticeable is finding the optimum number of words using n-gram. In this study, the performance is defined accuracy rate in sentiment classification-positive and negative-.
The results according to the proposed experiment proved the effectiveness of the number of words using n-gram. The optimum number is two when we use the single n-gram and the most optimum number is the combination of one, two and three when we use the combination of the number of words. The main reason that show the performance difference is sequence of particular words. The strong point of n-gram is extracting the consecutive words. We can get the reliable variable when we used more than two words using n-gram as feature. It means three benefit and effectiveness when we use more than two using n-gram as feature. First, some variable is used to emphasize the sentiment. For example, “very good” is more positive than “good”. Second, some negative words change the sentiment when it combines with the particular word. For instance, “not good” is negative. However, unigram recognize the sentence as neutral because unigram set the two variable are “not” and “good”. Though bigram appreciates the sentence as negative because bigram set the one variable is “not good”. Third, some words make new sentiment. For example, “waste time” is negative. However, unigram is failed to realize the sentence as negative. Because unigram set the two variable are “waste” and “time”. Moreover, the list of effective variable consists of words showed the characteristic of Korean language. It means n-gram is valuable methodology in sentiment analysis for Korean language.
The contribution of this research is to prove the effectiveness of n-gram, offer the optimum number using n-gram, and find the reason of the performance difference based on the characteristic of Korean language. In hereafter research, it is expected to use briskly n-gram in sentiment analysis and other fields based on characteristic of Korean language.
소셜 미디어에서 텍스트 양이 폭발적으로 증가함에 따라 텍스트 마이닝에 대한 수요가 급증하였다. 텍스트 마이닝을 통해 특정 대상에 대해 사람들이 가지고 있는 생각이나 주관을 분석하기 시작했다. 이에 감성 분석을 통해 특정 감정을 추출하여 향후 방향에 활용할 수 있다는 점에서 감성 분석이 주목 받아 왔다.
감성 분석을 비롯하여 텍스트 마이닝 분야에서는 자질 선정에 따라 방법론의 결과가 판이하게 나타남에 주목하여 이에 관련된 연구가 국내외에서 활발하게 진행되어 왔다. 다수의 국외 연구에서는 범용적으로 사용되어 온 n-gram을 기반으로 다양한 감성 분석의 연구를 진행해왔다. n-gram에서 ‘n’에 따라 달라지는 감성 분석의 결과에 주목하여 이에 대한 연구를 지속적으로 진행했다. 하지만 국내의 연구에서는 n-gram을 도구로만 활용하였기에 해당 방법론에 대한 유효성을 입증하고 한국어 텍스트 데이터 특성에 맞는 방법론 여부를 판가름 하는 데에는 소홀했다.
따라서 본 연구에서는 한국어 텍스트 데이터 대상의 감성 분석 분야에서 n-gram의 유효성을 입증하고 최적의 ‘n’을 찾고자 하였다. 이에 한국어 특성이 어떻게 n-gram에서 작용할 수 있는지 고찰하고 n-gram이 한국어에서 작용할 수 있는지 증명하였다. 이를 통해 향후 연구에서 n-gram의 ‘n’을 적절하게 선택하여 활용할 수 있는 연구의 기반을 잡고자 하였다.
본 연구에서는 한국어 텍스트 데이터 대상의 감성 분석 분야에서 최적의 ‘n’을 확인하고 이에 큰 영향을 끼치는 한국어 특성에 주목하였다. 그 결과, 단일로 사용할 경우에는 n = 2인 바이그램(bi-gram)이 가장 높은 성능을 보이는 것을 입증하였다. 여러 형태의 n-gram을 사용할 경우에는 유니그램(uni-gram), 바이그램(bi-gram), 트라이그램(tri-gram)이 높은 적중률을 보였다.
이는 n-gram이 가진 연속성(Sequence)에 따라 어절 수가 커질수록 이러한 특성에 따라 연속되어 추출되는 단어 간의 조합이 긍정 또는 부정의 감성을 분류하는 데에 효과가 있음을 입증하였다. 이는 첫째, 연속되는 특정 단어 간의 조합은 특정 감성을 강조하며, 둘째, 부정어가 연속되는 단어와 조합을 이룰 경우 기존과 다른 감성으로 변화할 수 있으며, 셋째, 특정 단어가 연속하여 나타날 경우 감성을 부여할 수 있는 구문이 된다는 점에서 하나의 단어보다는 그 이상의 단어 간의 조합이 감성 추출에 유용함을 증명하였다.
이에 그치지 않고 더 나아가, n-gram마다 제1종 오류와 제2종 오류의 양상을 통해 n-gram의 영향을 확인하였다. 실제 데이터를 통해 확인한 결과, 실제 부정 데이터에서는 긍정의 패턴이 자주 나타났다. 하지만 실제 긍정 데이터에서는 부정의 패턴을 보이는 양상이 작아 이에 대한 오분류율이 낮은 것을 확인하였다. 어절 수가 높아질수록 실제 부정 데이터에서 나타나는 부정의 패턴을 유연하게 인식하기에 제1종 오류와 제2종 오류를 낮추는 데에는 단일의 n-gram 보다는 어절 수가 크거나 복합으로 이루어진 n-gram을 활용하는 것이 효과적임을 확인하였다. 하지만 어절 수가 3 이상이 될 경우에는 극성 분류에 효과적인 변수 확보에 어려움을 가지므로 연구 목적에 따라 적절한 ‘n’을 선택하여 유효 변수를 확보하는 것이 중요함을 시사하였다.
본 연구는 한국어 특성을 반영하는 최적의 어절 수 ‘n’을 입증하고 유효 변수를 통해 감성 추출에 활발하게 사용되는 단어 간의 조합을 확인하였다는 점에서 의의점을 갖는다. 어절 수 ‘n’을 1 이상으로 설정하거나 어절 수 조합을 활용할 경우 기존에 모호하였던 변수를 줄이고 특정 감성이 두드러지는 변수를 확보하여 감성 탐지율을 높임을 증명하였으며, 부정 패턴을 인지하는 데에 효과적인 어절 수를 시사하였다.
하지만 본 연구에서는 어절 수 4 이상을 확보하지 못하였다는 점과 보다 다양한 데이터 확보, 순서는 다르지만 같은 단어 간의 조합으로 이루어진 형태를 처리하지 못하였다는 점에서 한계점을 갖는다.
향후 연구에서는 특정 문장에서 감성 탐지율을 높이는 유효 변수 단어로 확인된 서술어 부분을 자질로 채택할 경우 높은 감성 탐지율을 얻을 수 있을 것이라 기대하며, 감성 분석 분야 외의 한국어 텍스트 데이터 대상의 텍스트 마이닝 분야에서도 연속되는 특정 단어 간의 조합에 주목하여 n-gram의 유효성을 검증할 것이라 기대한다.
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
| 주요 개정내역 | 변경 사유 |
|---|---|
| · 개인정보 처리 목적, 항목 및 법적 근거 수정 · 본인대상정보전송요구권 행사 방법 안내 · 개인정보 보호수준 평가 결과 추가 |
|
한국교육학술정보원은 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
목 차
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적 이용·제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
개인정보파일 검색(privacy.go.kr)| 개인정보파일의 명칭 | 수집·이용 근거 | 수집·이용 목적 | 수집·이용 항목 | 보유·이용기간 |
|---|---|---|---|---|
| [학술연구정보 서비스 이용자 가입정보] |
「개인정보 보호법」 제15조 제1항 제4호(계약 이행) |
회원 서비스 운영 |
ID, 비밀번호, 이름, 생년월일, 신분(직업구분), 이메일, 소속분야, 보호자 성명(어린이회원), 보호자 이메일(어린이회원) |
회원탈퇴시 까지 |
| 「전자상거래 등에서의 소비자보호에 관한 법률」 제6조 및 같은 법 시행령 제6조 |
주문 및 결제 처리 |
ID, 비밀번호, 이름, 주소 |
5년 |
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
| 구분 | 담당자 | 연락처 |
|---|---|---|
| KERIS 개인정보 보호책임자 | 정보보호본부 안재호 |
- 이메일 : jinuk@keris.or.kr - 전화번호 : 053-714-0158 - 팩스번호 : 053-714-0195 |
| KERIS 개인정보 보호담당자 | 개인정보보호부 송진욱 | |
| RISS 개인정보 보호책임자 | 교육학술데이터본부 정광훈 |
- 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
| RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적인 이용ㆍ제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)