인공지능의 언어능력에 대한 화용 층위 평가 연구의 조망 및 연구 동향 = Pragmatische Bewertung der sprachlichen Fähigkeiten Künstlicher Intelligenz Forschungsperspektiven und Implikationen für die Germanistische Linguistik

국문 초록 (Abstract)

인공지능의 발달은 거대 언어 모델의 발달에 기반하고 있다. 본 연구는 LLM의 언어 능력을 인간 수준에서 평가하기 위해 수행한 화용 처리 벤치마크 연구의 결과를 종합적으로 분석하였다. 이를 통해 인간의 고차원적인 언어 사용 수준에서 평가하고자 인공지능의 언어 능력을 하였다.
본 연구의 결과를 종합해 볼 때, 아직은 LLM이 인간 수준의 화용 처리 능력을 갖추고 있지 못함을 확인하였다. 이는 ChatGPT를 포함한 LLM 개발 회사들이 언어 모델의 성능을 확신하여 소개하고 있는 것과 대조된다. 그 이유는 무엇보다도 기존의 벤치마크 테스트가 인간의 고차원적인 언어 능력을 제대로 평가할 수 없었기 때문이다. 본 연구는 이러한 한계점을 극복하고 인간 수준에서 LLM의 언어 능력을 평가할 수 있는 새로운 평가 방법으로 화용 벤치마크 테스트를 제시하였다. 더 나아가 이러한 화용 처리 벤치마크를 기반으로 독어학 연구를 수행할 수 있는 연구 가능성을 검토하였다. 여기서 제안된 독일어와 한국어에 관한 LLM 벤치마크의 비교 연구가 지속적으로 수행된다면 이는 독어학 연구를 확장하는 한편, 인간 수준의 LLM 개발에 기여할 수 있는 학문적 토대를 구축하는 데 기여하게 될 것이다.

다국어 초록 (Multilingual Abstract)

Die jüngsten Fortschritte im Bereich der Künstlichen Intelligenz basieren in wesentlichem Maße auf der Entwicklung großer Sprachmodelle (Large Language Models, LLMs). Die vorliegende Arbeit bietet eine umfassende Analyse der Ergebnisse pragmatischer Verarbeitungsbenchmarks, die darauf abzielen, die sprachlichen Fähigkeiten von LLMs auf einem dem Menschen vergleichbaren Niveau zu evaluieren. Ziel dieser Untersuchung ist es, die Leistungsfähigkeit von LLMs im Hinblick auf höherstufige, kontextabhängige Sprachverwendung zu beurteilen, wie sie für menschliche Kommunikation konstitutiv ist.
Die Ergebnisse zeigen deutlich, dass gegenwärtige LLMs noch nicht über ein menschliches Maß an pragmatischer Verarbeitungskompetenz verfügen. Diese Feststellung steht im Kontrast zu den von Entwicklerfirmen einschließlich jener von ChatGPT häufig geäußerten, ausgesprochen optimistischen Einschätzungen ihrer Modelle. Ein zentraler Grund für diese Diskrepanz liegt in den methodologischen Grenzen bisheriger Benchmark- Tests, die die hohe Komplexität menschlicher Sprach- und Inferenzleistungen nur unzureichend erfassen.
Die vorliegende Arbeit schlägt daher pragmatische Benchmarks als neuartige Evaluationsmethodik vor, die eine Bewertung der Sprachverarbeitungsfähigkeiten von LLMs auf einer tatsächlich menschengemäßen Ebene ermöglicht. Darüber hinaus wird aufgezeigt, dass solche pragmatischen Benchmarks eine produktive Grundlage für zukünftige Forschungen innerhalb der germanistischen Linguistik bilden können. Eine kontinuierliche Durchführung kontrastiver Benchmark-Studien zu deutschen und koreanischen LLMs, wie sie hier angeregt wird, dürfte das Forschungsfeld der Germanistik nicht nur erweitern, sondern zugleich einen substantiellen Beitrag zur Weiterentwicklung der LLM-Forschung leisten.