'인간과 유사한 AI 모델의 언어처리 - 심리언어학적 관점에서 바라보기 - = The Language Processing of Human-like AI Models - A Psycholinguistic Perspective -

국문 초록 (Abstract)

이 논문은 거대언어모델(Large Language Model) 문장처리와 인간 문장처리의 양상을 비교하여, 이 두 유형 간 처리결과의 유사점과 차이점을 심리언어학적 관점에서 고찰해 보는 것을 목표로 한다. 기대 기반의 문장처리 관점에 따르면, 인간 처리자는 주어진 맥락 정보에서 언어적 단서를 적극적으로 추출하여 앞으로 등장할 단어를 확률적으로 예측하고, 이를 문장처리에 즉시 반영한다고 한다. 이런 인간 처리자의 예측 기반의 확률적 행동은 거대언어모델의 작동 원리와 기본적인 측면에서 공유하는 점이 많다. 이 논문에서는 기대 기반의 인간 문장처리와 거대언어모델의 시뮬레이션을 다면적으로 비교하고자 하였다. 이를 위해, 영어 도구 논항을 연구 대상으로 하였고, 도구 명사가 논항(argument)의 위상을 가졌을 때와 부가어(adjunct)로 사용될 때 관찰된 인간 행동의 시뮬레이션을 처리(processing)와 생성(generation)의 영역에서 시도했다. 거대언어모델은 도구 논항을 결정하는 동사유형 효과를 성공적으로 모사하였다. 도구 명사를 생성하는 과제에서는 인간보다 도구명사 생성률이 낮아서 소극적 생성이라고 할 수 있었으나, 거대언어모델이 생성한 도구 명사와 인간이 생성한 도구 명사의 의미적 유사성은 낮지 않았다. 이 논문에서 소개된 일련의 언어모델 시뮬레이션은 인간의 행동과 대체로 유사하다고 판단되며, 이 결과는 거대언어모델이 인간 언어처리 행동을 예측하는 도구로 사용될 수 있다는 견해를 지지한다.

다국어 초록 (Multilingual Abstract)

This paper examines the similarities and differences between Large Language Models (LLMs) and humans in sentence comprehension and generation. In psycholinguistics, expectation-based approaches suggest human processors use linguistic cues from contexts to predict upcoming words before encountering them. Our study compares the predictive sentence processing of humans and LLMs across several domains. Using English instrument arguments and adjuncts in prepositional phrases within declarative sentences, we present findings indicating that LLMs effectively simulate human behaviors in processing instrument nouns: The LLMs successfully demonstrated the significant role of verb type in distinguishing instrument arguments from adjuncts. Although LLMs were more passive than humans in generating instruments from sentence fragments, the semantic features of LLM-generated instruments closely matched those generated by humans. Our results suggest that LLMs are fairly successful in simulating human sentence processing, supporting their use as a pratical tool for predicting human processing behaviors.

참고문헌 (Reference)

• 1 Chiang, T., "Will A.I. Become the New McKinsey?"
• 2 Choi, Y. J., "Why AI is incredible smart and shockingly stupid"
• 3 Gebru, T., "We warned Google that people might believe AI was sentient : Now it’s happening"
• 4 MacDonald, M. C., "The lexical nature of syntactic ambiguity resolution" 101 : 676-703, 1994
• 5 Ferreira, F., "The independence of syntactic processing" 25 (25): 348-368, 1986
• 6 Chomsky, N., "The false promise of ChatGPT"
• 7 Garnsey, S. M., "The contributions of verb bias and plausibility to the comprehension of temporarily ambiguous sentences" 37 : 58-93, 1997
• 8 Haijima, W., "The Embodied World Model Based on LLM with Visual Information and Prediction-Oriented Prompts"
• 9 Yun, H., "The Effect of Semantic Similarity is a Function of Contextual Constraint" Cognitive Science Society 1191-1196, 2012
• 10 Trueswell, J. C., "Semantic influences on parsing: Use of thematic role information in syntactic ambiguity resolution" 33 : 285-318, 1994
• 11 Roland, D., "Semantic Similarity, Predictability, and Models of Sentence Processing" 122 : 267-279, 2012
• 12 Spivey-Knowlton, M., "Resolving attachment ambiguities with multiple constraints" 55 : 227-267, 1995
• 13 Yi, E., "Predicting arguments using computational language models, Data-oriented approaches to meaning in Korean and Japanese" 2021
• 14 Elman, J. L., "On the Meaning of Words and Dinosaur Bones: Lexical Knowledge Without a Lexicon" 33 (33): 547-582, 2009
• 15 Marcus, Garry, "Nonsense on Stilts"
• 16 Searle, J., "Minds, Brains, and Programs" 3 : 417-457, 1981
• 17 Shin, U., "Investigating a neural language model’s replicability of psycholinguistic experiments: A case study of NPI licensing" 14 : 937656-, 2023
• 18 Traxler, M., "Introduction to Psycholinguistics: Understanding Language Science" Wiley Blackwell 2023
• 19 Altmann, M. G. T., "Incrementality and Prediction in Human Sentence Processing" 33 (33): 583-609, 2009
• 20 Liebrenz, M., "Generating scholarly content with ChatGPT: ethical challenges for medical publishing" 5 (5): e105-e106, 2023
• 21 Pezzulo, G., "Generating meaning: active inference and the scope and limits of passive AI" 28 (28): 97-112, 2024
• 22 Elman, J. L., "Finding structure in time" 14 : 179-211, 1990
• 23 Hongoak Yun ; 이은경 ; 송상헌, "Exploring AI-Generated English Relative Clauses in Comparison to Human Production" 24 (24): 201-432, 2023
• 24 Levy, R., "Expectation-based syntactic comprehension" 106 : 1126-1177, 2008
• 25 Spivey-Knowlton, M. J., "Context and syntactic ambiguity resolution" 47 : 276-309, 1993
• 26 Turing, A., "Computing Machinery and Intelligence" 59 (59): 433-460, 1950
• 27 Thorp, H. H., "ChatGPT is fun, but not an author" 379 (379): 313-, 2023
• 28 Trott, S., "Can large language models help augment English psycholin-guistic datasets?" 1-19, 2024
• 29 Devlin, J., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" Association for Computational Linguistics 1 : 4171-4186, 2019
• 30 Koenig, J. P., "Arguments for adjuncts" 89 : 67-103, 2003
• 31 Yun, H., "Anticipation versus Integration of Syntactically Infrequent but Semantically Obligatory Arguments" CUNY Graduate Center 3 : 2006
• 32 Hochreiter, S., "Advances in neural information processing systems 9" MIT Press 1997
• 33 Hale, J., "A probabilistic Earley parser as a psycholinguistic model" 1-8, 2001
• 34 King, M. R., "A Conversation on Artificial Intelligence, Chatbots, and Plagiarism in Higher Education" 16 : 1-2, 2023