딥러닝이 적용된 게임 밸런스에 관한 연구 : 게임 기획 방법론의 관점으로 = A Study of Game Elements Balancing using Deep Learning in artificial neural network.

다국어 초록 (Multilingual Abstract)

Recently, software production has gradually become easier with the developments of computer performance and technology of programming language. In the past, it was difficult to produce even a program in a simple form, for people other than experts who learned a professional programming language. However, as professional tools that facilitate program production are released in succession, today, an era in which even non-professionals can produce programs relatively easily. For example, in the early 2000s, people other than Web experts were unable to create a homepage on the Internet. Yet, now, even the general public came to be able to make homepage easily if they learn the usage of a production tool. In a context similar to this, professionally produced programs with high accessibility tend to be gradually developed in the area of digital gaming.
A game engine like Construct2 supports the production of games without professional knowledge of programming language, and along with this, such an engine made it easy to produce a Web homepage as well as a mobile app. However, no matter how much this software technology develops, who would play a game if it does not have the factor of fun? There may be various factors to give fun to the player, but of them, there is no big different view on the fact that the game balance has a very big impact on the player’s fun and immersion.
Various game production engines have emerged and technical difficulties have been troubleshot. Thus, a game planning process has become more of an essential aspect in game production. According to a psychologist, Mihaly Csikszent, with the right difficulty level of challenge, combined with an individual’s technique, an individual is immersed in game at an optimum level. A game player encounters a number of enemies in the game. In the game, if the player wins too easily, she loses interests in the game. On the other hand, if it is too difficult to win, it lets the player lose interest in the game, as well. Thus, the game balance needs to be kept in order to give players a sense of thrill after a close match in a battle or a competition. Another factor, as important as a game balance, is to have a player fight against enemies with an appropriate difficulty level. In his book, Jesse Schell, a famous American game developer and professor, wrote game balance and proper difficulty level are the important factors in player’s fun and immersion. According to another famous American game design consultant, Ernest Adams, game balance and appropriate amount of challenge are essential for players to experience fun. Therefore, developers design and create an intelligent character that meets the criteria of game balance and challenge level. This intelligent character is designed based on a fixed algorithm; after several matches, the game pattern by this character is exposed and thus the difficulty level is lowered. Eventually, players experience boredom. In order to supplement the shortcoming, in many games, players are matched with other players for competition. However, at a game system level, it is difficult to grasp other players’ technique level. If the game system fails to match players effectively, one player may gain all benefits or lose everything. In this case, players are likely to lose interest in the game. To trouble shoot such issues, there have been numerous studies and researches on intelligent character and algorithm. One of many efforts is to utilize Finite State Machine to design an intelligent character. The purpose of this intelligent character is to give various movement and decisions for other human players to view it as another human player. Recent emersion of AlphaGo, developed by Google’s Deep Mind, may seem simple but serve as the proof that it is able to act and make judgment as if it were a human. Performance of AlphaGo was possible because it employed Q-Value technique and Monte Carlo tree search. Q-Value technique enables Reinforcement Learning via Deep Learning among machine learning techniques; Monte Carlo tree search provides visual output similar to that of human. Yet, the application of game balance is not active. Only a few studies on game balance exist because game balance is considered to be the core technique in game development; developers are reluctant to share their know-hows. Because of such a reason, there is a low level of automated program development, such as game design engine, for game balance.
In order to solve this issue, this study applied deep learning to game balance so that an intelligent character can study through other players’ performance and adjust its difficulty level in an accordance to the matched player’s difficulty level. If this application becomes active, game developers and designers can reduce cost and, at the same time, provide an excellent opportunity for players to match with attractive opponents. This study will examine game balance operation and shortcomings and find areas to apply deep learning. For research purpose, data mining program, called “Weka”, is used; multi-layer perceptron is applied to calculate player’s combat pattern and to judge and make an optimal behavior. Q-Value and Monte Carlo tree algorithm are used to calculate values about intelligent character’s behaviors. Research results suggest that artificial nerve network system can be applied to game balance field via deep learning and that intelligent character can learn player’s behavior by itself and use the data to adjust it ability or make an optimal behavior pattern.
Research outcome suggest these: a) automated program design is possible using artificial nerve network system in the area of game balance, and b) an individual who may experience stress when meeting another person is able to engage in a game as if competing against another human player. Considering that AlphaGo used 1,920 CPUs and 280 GPUs to engage in the game of 19x19 Go, the study was not able to run all kinds of simulation for complex RPG environment.

국문 초록 (Abstract)

최근 컴퓨터의 성능과 프로그램 언어 기술이 발달하면서 소프트웨어의 제작이 점점 수월해지고 있다. 과거에는 단순한 형식의 프로그램이라고 하더라도 프로그램 언어를 습득한 전문가가 아니라면 제작에 어려움을 겪을 수 밖에 없었다. 그러나 오늘날에는 소프트웨어의 제작을 용이하게 해주는 전문 툴이 잇따라 출시되었다. 이로 인해 비전문가도 비교적 손쉽게 소프트웨어를 제작할 수 있는 시대가 도래하였다. 예를 들어 2000년대 초만 하더라도 인터넷 홈페이지는 웹 전문가가 아니면 만들 수 없었으나, 이제는 제작 툴의 사용법만 익힌다면 일반인들도 손쉽게 홈페이지를 만들 수 있게 되었다. 이와 유사한 맥락에서, 디지털 게임 분야에서도 접근성이 높은 전문 제작 프로그램들이 점차 발전하고 있는 추세이다.
Construct2와 같은 게임 엔진은 프로그램 언어에 대한 전문 지식이 없어도 게임 제작이 가능하도록 지원하고 있다. 또한 이를 이용해 모바일 앱은 물론 웹 홈페이지 등을 손쉽게 제작할 수 있다. 그러나 이러한 소프트웨어 기술이 아무리 발전한다고 해도 게임에서 가장 궁극적으로 중요한 부분은 재미라는 요소일 것이다. 플레이어에게 재미를 제공하기 위한 요소에는 여러 가지가 있으나, 그 중에서 게임의 밸런스가 플레이어의 재미와 몰입에 매우 큰 영향을 미친다는 사실에는 큰 이견이 없을 것이다.
다양한 게임 제작 엔진의 출현으로 게임 제작 자체의 기술적 어려움이 많이 해결되어 게임 제작에 있어 기획 영역이 중요한 시대가 되었다. 심리학 교수인 미하이 칙센트(Mihaly Csikszentmihalyi)는 자신이 가진 기술에 적절한 난이도의 도전(Challenge)을 만나면 몰입하게 되고, 최적의 경험을 얻을 수 있다고 설명하였다. 게임 플레이어는 게임에서 수많은 적들과 싸우게 되는데, 이 때 지나치게 손쉽게 이기거나 진다면 게임의 재미가 반감될 것이다. 반대로 너무 어렵게 이기거나 지는 것도 게임을 지루하게 만드는 요인으로 작용한다. 따라서 상대방과의 전투나 경쟁에서 아슬아슬하게 승리하는 긴장감을 제공하기 위해서는 게임의 밸런스가 적절해야 한다. 그만큼 게임 밸런싱 작업은 게임의 재미와 가장 직접적으로 영향을 미치는 요소로 작용한다.
게임 밸런스 외에도 그만큼 중요한 것이 있는데, 그것은 플레이어에게 적절한 난이도의 상대를 계속 만나게 하는 것이다. 미국의 유명한 게임 개발자이자 교수인 제시 셸(Jesse Schell)은 그의 저서에서 게임 밸런스의 중요성과 적절한 난이도의 상대를 만나는 것이 게임의 몰입과 재미에 중요한 요소임을 말하고 있다. 또한 미국의 게임 디자인 컨설턴트로 유명한 어니스트 아담스(Ernest Adams)도 자신의 저서에서 게임 밸런스의 중요성과 적절한 도전이 게임의 재미에 중요한 요소임을 말하고 있다.
게임 개발자들은 플레이어가 게임에 몰입하고 재미를 느낄 수 있도록 미리 설계한 지능 캐릭터를 제공한다. 이 지능 캐릭터는 일정한 알고리즘에 의해 설계되는데, 몇 번의 전투를 거치다 보면 패턴이 파악되어 난이도가 하락하고 지루함을 느끼게 된다. 이러한 문제를 보완하기 위해 많은 게임에서는 플레이어와 플레이어가 만나 경쟁하도록 유도한다. 그러나 게임 시스템은 플레이어의 수준을 파악하기 어렵다. 게임 시스템이 효과적인 플레이어 매칭에 실패하게 되면 일방적인 이득이나 손해를 보는 경우가 발생하여 게임의 재미를 반감시키기도 한다.
이와 같은 문제들을 해결하기 위해 그 동안 지능 캐릭터와 알고리즘에 대한 연구가 활발히 진행되어 왔다. 그 중 하나가 바로 유한 상태 기계(Finite State Machine)를 이용한 지능 캐릭터 설계이다. 이 지능 캐릭터의 목적은 플레이어에게 다양한 움직임과 사람과 같은 판단을 하는 것처럼 보여지는 것이다. 그러나 최근 구글의 딥마인드(Deep Mind)사에서 개발한 인공지능 ‘알파고’의 등장은 단순히 인간처럼 보이는 것이 아니라 실제 인간과 같이 행동하고 판단할 수 있다는 것을 보여주었다. 이것이 가능했던 이유는 알파고가 머신 러닝 기법 중에서 딥러닝(Deep Learing)을 이용한 강화 학습과 자신의 상태와 행위에 가치를 계산하고 결정할 수 있는 Q-Value기법, 그리고 몬테카를로 트리 검색(Monte Carlo tree search)등을 이용하여 인간과 같이 시각 정보를 주로 이용했기 때문이다.
그러나 아직까지 게임 밸런스에는 이러한 기법의 적용이 활발히 이루어지고 있지 않다. 게임 밸런스 작업에 대한 연구가 저조한 이유는 이것이 게임의 핵심 기술로 인식되어 잘 공개되지 않으며, 게임 기획자가 자신의 노하우를 타인에게 알리는 것을 꺼리기 때문이다. 이러한 이유로 게임 밸런스 분야에서는 게임 제작 엔진과 같은 자동화 프로그램 개발도 활발하지 않았다.
본 연구에서는 이러한 문제를 해결하는 방법으로서, 게임 밸런스에 딥러닝을 적용하여 지능 캐릭터가 플레이어를 통해 학습하고 스스로 플레이어의 난이도에 따라 자신의 능력을 조절할 수 있도록 고안하였다. 이것이 활성화되면 게임 기획자나 개발자에게는 그 만큼의 비용을 절약하는 동시에 플레이어에게 항상 흥미로운 상대를 제공할 수 있는 획기적인 방법이 될 것이다. 이를 위해 기존의 게임 밸런스 작업과 문제점에 대해 살펴보고 딥러닝을 적용할 수 있는 부분을 찾아보고자 한다. 이를 위해 “Weka” 라는 데이터 마이닝 프로그램을 사용하였으며, 다층 퍼셉트론(Multilayer perceptron)을 적용하여 플레이어의 전투 패턴을 계산하고 자신의 최적화된 행동과 설정을 판단하도록 하였다. 또한 지능 캐릭터의 행동에 대한 가치 값들을 계산하는 데에는 Q-Value와 몬테카를로 트리 검색 알고리즘을 사용하였다. 이를 통해 게임 밸런스의 영역에도 딥러닝을 이용한 인공 신경망 시스템을 적용할 수 있으며, 지능 캐릭터 스스로 플레이어의 행동을 스스로 학습하여 능력치를 조절하거나 최적화된 행동 패턴을 생성할 수 있음을 알 수 있었다.
이번 연구를 통해 게임 밸런스의 영역에서 인공 신경망을 이용한 자동화 프로그램의 설계 가능성을 알 수 있었다. 무엇보다도 사람과 마주하는 것을 스트레스로 느끼는 사람의 부담을 줄이면서 사람과 함께 있는 느낌을 줄 수 있다는 것이 큰 의미라고 할 수 있겠다. 다만 알파고가 19x19의 바둑 대전을 펼치기 위해 1,920개의 CPU와 280개의 GPU를 사용하였다는 것을 감안하면, 현실적인 한계로 인해 그보다 복잡한 RPG의 상황을 모두 시뮬레이션할 수는 없었던 점이 아쉬움으로 남는다.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 1
• 제2절 연구 목적 및 연구 방법 7
• 제3절 논문의 구성 10
• 제2장 선행 연구 및 게임 밸런스 11
• 제1절 선행 연구 11
• 제2절 게임에서의 밸런스 16
• 제3절 게임 기획 방법론 40
• 제3장 게임에 적용된 인공지능 48
• 제1절 게임에서의 인공지능과 머신러닝 (Machine Learning) 48
• 제2절 게임에서의 인공 지능 신경망 구성 57
• 제4장 시스템별 게임 밸런스 설정 방법 65
• 제1절 아케이드 게임 72
• 제2절 가정용 비디오 게임과 PC 게임 74
• 제3절 온라인 게임(MORPG, MMORPG) 77
• 제4절 모바일 게임(멀티플랫폼: Web, App) 83
• 제5장 딥러닝(Deep Learning)의 밸런스 적용 연구 88
• 제1절 딥러닝 적용을 위한 기존 인공지능 설정 방법 88
• 제2절 딥러닝 적용을 위한 밸런스 산출 과정 93
• 제3절 게임 밸런스의 딥러닝(Deep Learning) 신경망 구성 108
• 제6장 논의 및 함의 134
• 제1절 딥러닝의 밸런스 변환을 통한 게임 기획 방법 134
• 제2절 게임 밸런스의 딥러닝 적용 연구의 의의 138
• 제3절 딥러닝을 활용한 기획 방법의 결론 및 한계 142
• 참 고 문 헌 146
• 부록 151
• Abstract 153

참고문헌 (Reference)

• 1 김서영, 박태순, "「MMORPG 콘텐츠 분석틀」", 한국콘텐츠학회, 『한국콘텐츠학회』, 6(10), 80-88, 2006
• 2 오카타니 타카유키, "딥 러닝 제대로 시작하기", 제이펍, 2016
• 3 심재근, "『게임 기획자와 시스템 기획』", 에이콘, 2016
• 4 오별, "「AI를 이용한 게임 밸런스 방법」", 한국정보과학회, 『정보과학회지』, 27(10), 25-28, 2009
• 5 김용민, 서영호, 김종훈, "『순서도로 배우는 C프로그래밍』", 다올미디어, 다올미디어, 2016
• 6 김태용, 최종수, 엄상원, "「동적게임난이도 조절 알고리즘」", 한국HCI학회, 『한국정보과학회』, 188-195, 2003
• 7 송현주, 이대웅, "「게임 시나리오 저작도구의 개발」", 한국게임학회, 『한국게임학회』, 9(2). 29-39, 2009
• 8 김성재, 도다카 토모히로, "기계학습: 생각을 만드는 빅데이터 기술", 한빛미디어, 2012
• 9 김동은, 전준현, 정의준, "「MMORPG 전투밸런스 평가모델 기초연구」", 한국컴퓨터게임학회, 『한국컴퓨터학회』, 26(3), 49-60, 2013
• 10 박원섭, 황보택근, 홍현기, "「게임 시나리오 편집기의 설계와 구현」", 한국게임학회, 『한국게임학회』, 10(1), 2010
• 11 고승희, "『게임을 움직이는 기술과 발상: Tech ideas』", 한빛미디어, 한빛미디어, 2015
• 12 이준재, 조상현, "『성공적인 게임 기획을 위한 제작실무서』", 계명대학교출판부, 계명대학교출판부, 2015
• 13 유인창, "온라인게임 아이템의 재물성에 대한 재검토", 『한국컴퓨터정보학회』, 18(4), 153-160, 2013
• 14 손형률, "재미있는 게임을 만드는 게임 밸런스이야기", 한빛미디어, 한빛미디어, 2014
• 15 조성현, 최동성, "「몰입이론에 기초한 MMORPG의 디자인 방법론」", 한국게임학회, 『한국게임학회』, 8(2), 13-23, 2008
• 16 김종수, 최종수, 엄상원, 심종익, 김태용, "「진화 알고리즘을 적용한 게임 난이도 조절」", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 11, 20-27, 2007
• 17 김기남, 한승완, 정상협, 이강희, 송민선, 김효찬, "EMOTIV EPOC을 활용한 아케이드 게임 시나리오 연구", 한국컴퓨터정보학회, 『한국컴퓨터정보학회』, 23(1), 309-311, 2015
• 18 김선정, 정혜원, 송창근, "「유니티를 이용한 안드로이드용 모바일 게임」", 한국HCI학회, 『한국 HCI학회』, 1268-1270, 2013
• 19 김현빈, 이헌주, "「게임엔진을 이용한 온라인 액션 게임의 제작」", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 2, 5-12, 2003
• 20 박찬일, 양해술, "「캐릭터간의 대전 시스템을 위한 밸런스 구현」", 한국게임학회, 『한국게임학회』, 7(3), 2-8, 2007
• 21 김진모, 정서원, "「Unity 3D를 활용한 1인 모바일 캐주얼 게임 제작」", 한국디지털콘텐츠학회, 『한국디지털콘텐츠학회』, 15(4), 501-512, 2014
• 22 이면재, "「게임 제작 과정 중심의 기능성 게임 활성화 방안」", 한국디지털정책학회, 『디지털정책학회』, 11(12), 761-768, 2013
• 23 이주형, 홍민, 전재홍, "「유니티 게임 엔진을 활용한 멀티 플랫폼 게임 제작」", 『한국인터넷정보학회』, 133-134, 2012
• 24 정형원, 장현주, 김기석, "모바일 게임의 몰입, 지속적 이용의도에 대한 선행요인", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 26(4), 121-133, 2013
• 25 김태식, 현혜정, "「게임 밸런싱을 위한 효과적인 캐릭터 조절 알고리즘」", 한국콘텐츠학회, 『한국콘텐츠학회』, 8(1), 339-347, 2008
• 26 김진우, 최동성, 김호영, "「인간의 의지와 지각을 고려한 게임디자인 요소 분석」", 『한국인지과학회』, 153-164, 1999
• 27 정의준, 전준현, "「RPG 전투밸런스 평가모델 연구: 모바일 게임 중심으로」", 한국게임학회, 『한국게임학회』, 15(4), 49-58, 2015
• 28 고병희, 김순곤, "「모바일 3D 게임 제작환경과 개발프로세스에 관한 연구」", 한국콘텐츠학회, 『게임&엔터테인먼트』, 1(1), 23-30, 2005
• 29 신용우, 정태충, "「플레이어 행동 예측을 위한 순차예측 알고리즘의 개선」", 한국인터넷정보학회, 『인터넷정보학회』, 11(3), 25-32, 2010
• 30 마커스, "프라이들, 염태선 역, 『온라인 게임기획 & 인터랙티비티』", 정보문화사, 2003
• 31 김의중, "『알고리즘으로 배우는 인공지능, 머신러닝, 딥러닝 입문』", 위키북스, 위키북스, 2016
• 32 강지웅, 윤형섭, 박수영, "『한국 게임의 역사: 세계를 놀라게 한 한국 게임의 기적 』", 북코리아, 북코리아, 2012
• 33 문준식, "「FPS 게임의 공간디자인을 위한 VAE 모델 적용에 관한 연구」", 디자인융복합학회(구.한국인포디자인학회), 『디자인융복합연구』, 13(3), 2014
• 34 박정용, "「효율적인 게임 개발을 위한 사건 기반의 상황 계층 구조」", 한국멀티미디어학회, 『멀티미디어학회』, 10(4), 483-491, 2007
• 35 강탄일, 박의준, "「소셜네트워크 게임 구현을 위한 게임 제작도구 설계 및 구현」", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 28(4), 169-177, 2015
• 36 유보미, 유승호, "「게임 제작 프로세스의 발전적 측면에서 본 모드게임 예시 연구」", 한국게임학회, 『한국게임학회』, 9(1), 55-62, 2009
• 37 임창주, 진신, "정량적 가치 추출을 통한 캐릭터 스킬의 밸런싱 방안: MMORPG 게임의 예", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 14, 205-210, 2008
• 38 강지웅, "「온라인 게임 아이템 시장이 게임 문화에 미치는 영향에 관한 고찰」", 한국사회학회, 『한국사회학회』, 19-33, 2007
• 39 박정용, 이문희, "「게임 개발에서 Event-State-Action Graph에 기반한 시나리오 분석 및 표현」", 『한국컴퓨터게임학회』, 25(3), 105-115, 2004
• 40 이태훈, "「드라마 장르 필름의 네러티브 구조 분석을 통한 시나리오 작법 연구」", 한국기초조형학회, 『기초조형학연구』, 7(2), 2006
• 41 손형률, 임창주, "「전투시나리오를 기반으로 한 유니트 밸런싱 : WAP 게임 D.N.A.의 적용 사례」", 한국컴퓨터게임학회, 『한국컴퓨터게임학회』, 7, 73-78, 2005
• 42 이상우, "『게임, 게이머, 플레이: 인문학으로 읽는 게임』, 자음과모음, 제이슨 벨, 곽승주 역, 『머신러닝워크북』", 길벗, 2016, 2012