용어간 종속성을 이용한 문서 순위 매기기에 의한 확률적 정보 검색 = A probabilistic information retrieval model by document ranking using term dependencies

국문 초록 (Abstract)

텍스트 문서 집합에 대한 정보검색에서는 주어진 질의에 부합하는 각 문서의적합도 확률을 계산하고 이 확률이 높은 것부터 낮은 순으로 문서 순위를 정하여 사용자에게제공한다, 각 문서의 적합도 확률 계산에 많이 사용되는 모형은 단어들이확률적으로 독립이라는 가정 하에 확률을 추정한다. 이 모형은 단어들의 결합확률을 계산하는 것이 현실적으로 어렵다는 점에서 많이 이용되고 있지만 질의에사용되는 단어들이 대개 서로 관련성을 가지고 있다는 사실을 고려하고 있지않다. 본 논문에서는 단어 자질들의 의존 구조를 고려하여 문서의 적합도 확률을계산하기 위하여 단어들의 결합 패턴의 확률을 다항분포 모형으로 가정하고, 최대 엔트로피 방법으로 확률을 추정하여 문서 순위를 매기는 정보검색 모형을 제안한다. 여러 가지 다항분포상황에서 시뮬레이션 실험을 한 결과 변수들의 독립을 가정한모형보다 더 우수한 추정 결과를 보여 준다. 실제 LETOR OHSUMED 데이터 이용한문서 순위 매기기 실험의 결과도 더 나은 검색 결과를 보여 준다.

다국어 초록 (Multilingual Abstract)

This paper proposes a probabilistic document ranking model incorporating term dependencies. Document ranking is a fundamental information retrieval task. The task is to sort documents in a collection according to the relevance to the user query (Qin et al., Information Retrieval Journal, 13, 346-374, 2010). A probabilistic model is a model for computing the conditional probability of the relevance of each document given query. Most of the widely used models assume the term independence because it is challenging to compute the joint probabilities of multiple terms.

참고문헌 (Reference)

• 1 이정진, "엔트로피 분포를 이용한 규칙기반 분류분석 연구" 한국통계학회 17 (17): 527-540, 2010
• 2 Min, J., "Utilizing External Resources for Enriching Information Retrieval" DCU 2017
• 3 Robertson S. E., "The probability ranking principle in IR" 33 : 294-304, 1977
• 4 Sanderson, M., "The history of information retrieval research" 100 : 1444-1451, 2012
• 5 Kantor, P. B., "Testing the maximum entropy principle for information retrieval" 49 : 557-566, 1998
• 6 Deming, W. E., "On a least squares adjustment of a sampled frequency table when the expected marginal totals are known" 11 : 427-444, 1940
• 7 Qin, T., "LETOR : A benchmark collection for research on learning to rank for information retrieval" 13 : 346-374, 2010
• 8 이정진, "Discriminant Analysis of Binary Data with Multinomial Distribution by Using the Iterative Cross Entropy Minimization Estimation" 한국통계학회 12 (12): 125-137, 2005
• 9 Ruschendorf, L., "Convergence of the iterative proportional fitting procedure" 23 : 1160-1174, 1995
• 10 Fienberg, S. E., "An iterative procedure for estimation in contingency tables" 41 : 907-917, 1970
• 11 Manning, Ch. D., "An Introduction to Information Retrieval" CUP
• 12 Lee, J. J., "A study of probabilistic information retrieval systems in the case of inconsistent expert judgments" 42 : 166-172, 1991