질의응답 시스템의 퀴즈게임 베팅전략

국문 초록 (Abstract)

여러 분야에서 인공지능 컴퓨터와 인간과의 대결은 큰 관심사 중의 하나이다. 2011년 IBM이 개발한 왓슨컴퓨터가 인간 퀴즈왕과의 대결에서 압승한 바 있다. 한국의 전자통신연구원에서도 인간과의 퀴즈대결을 위해 질의응답시스템인 WiseQA를 개발해 왔다. WiseQA는 EBS 장학퀴즈에 대비하여 학습되어 왔으며, 그 과정에서 합리적인 의사결정을 위한 알고리즘의 개발이 요구된다. 본 연구에서는 WiseQA가 퀴즈대결 진행시 판단해야하는 문제 (버즈-인에 대한 판단과 베팅점수의 결정)에 대해 통계모형에 기반한 의사결정을 할 수 있도록 모형을 구축하였다. 버즈-인 전략을 위해 로즈스틱회귀모형, 의사결정나무모형, 신경망모형을 고려하였으며, 베팅점수의 결정 전략으로 다범주로짓모형과 비례오즈로짓모형을 구축하였다. 그 결과 버즈-인 전략을 위한 세 모형 간의 성능에는 큰 차이가 없었으며, 베팅전략에서는 통계모형 기반의 추천 베팅점수가 인간 참가자들이 결정한 베팅점수보다 성능이 우수함을 확인하였다.

다국어 초록 (Multilingual Abstract)

Confrontation between artificial intelligence computer and human is one of great concern in many field. In 2011, IBM’s Watson computer won the quiz battle against human quiz champions. Korea electronics and telecommunications research institute (ETRI) has also developed WiseQA, a question and answering system for confrontation with humans. WiseQA has been trained in preparation for the EBS scholarship quiz. This requires the development of algorithms for rational decision making. In this study, a model was constructed to make a decision based on statistical model for the problem that WiseQA should judge during the quiz showdown (judgment of buzz-in and determination of betting score). We considered three statistical models for the buzz-in strategy: logistic regression, decision tree, and neural network model. Also, the multi-category logit model and proportional odds logit model was constructed as a strategy for determining the betting score. As a result, there was no significant difference in the performance between the three models for the buzz-in strategy. In the betting strategy, it was confirmed that the recommended betting score based on the statistical model was better than the one determined by the human participants.

목차 (Table of Contents)

• 요약
• 1. 머리말
• 2. WiseQA의 버즈-인 게임전략
• 3. WiseQA의 베팅전략
• 4. 결론 및 향후연구
• References
• Abstract

참고문헌 (Reference)

• 1 조대현, "비김이 있는 연속적인 게임에 관한 연구" 한국데이터정보과학회 28 (28): 783-796, 2017
• 2 구지민, "게임 데이터를 이용한 지표 개발과 승패예측모형 설계" 한국데이터정보과학회 28 (28): 237-250, 2017
• 3 Ferrucci, D., "Watson: Beyond jeopardy!" 199-200 : 93-105, 2013
• 4 Prager, J. M., "Special questions and techniques" 56 : 11:1-11:13, 2012
• 5 Tesauro, G., "Simulation, learning, and optimization techniques in Watson's game strategies" 56 (56): 2012
• 6 Lally, A., "Question analysis: How Watson reads a clue" 56 : 2:1-2:14, 2012
• 7 Ferrucci, D. A., "Introduction to this is watson" 56 : 1:1-1:15, 2012
• 8 Lewis, B. L., "In the game: The interface between Watson and jeopardy!" 56 (56): 2012
• 9 이성백, "Graphical exploratory data analysis for ball games in sports" 한국데이터정보과학회 27 (27): 1413-1421, 2016
• 10 Paciorek, C. J., "Computational techniques for spatial logistic regression with large data sets" 51 : 3631-3653, 2006
• 11 Ferrucci, D., "Building watson: An overview of the deepqa project" 31 : 59-79, 2010
• 12 Tesauro, G., "Analysis of Watson's strategies for playing jeoperdy" 21 : 205-251, 2013
• 13 Gondek, D. C., "A framework for merging and ranking of answers in deepqa" 56 : 14:1-14:12, 2012