중국의 생성형 AI의 HSK 독해 능력 고찰 — ERNIE Bot4.0(文心一言)을 중심으로 — = Chinese Generative AI in HSK Reading Comprehension: An In-depth Analysis of ERNIE Bot 4.0

국문 초록 (Abstract)

본 연구는 중국의 대표적인 생성형 AI인 ERNIE Bot(文心一言)의 중국어 독해 능력을 HSK 독해 시험 문항을 통해 객관적으로 평가하고 분석하였다. 결과에 따르면, ERNIE Bot은 전반적으로 우수한 중국어 독해 능력을 보여주었으며, 사전 훈련 모델은 어휘 영역과 담화 영역에서 특히 높은 성능을 나타낸 반면, 미세 조정 모델은 문법과 연결 영역에서 유의미한 개선을 보였다. 또한 ERNIE Bot은 풍부한 문맥을 제공하는 긴 텍스트에서 가장 뛰어난 성능을 보였으며, 한 번에 받아들일 수 있는 프롬프트 길이도 대폭 늘어나서 HSK 영역별 시험 문항을 처리하는 데 충분히 성능을 발휘할 수 있음을 확인할 수 있었다.

그러나 ERNIE Bot은 기본 규칙에 대한 이해가 부족했으며, 짧은 문장 간의 논리적 관계를 파악하거나 단독으로 제공된 문장에 대한 독해 능력이 상대적으로 부족했다. 이러한 한계를 극복하려면 프롬프트 설계와 함께 교육 전문가의 적극적인 참여가 필요하다.

본 연구의 의의는 중국 생성형 AI의 중국어 독해 능력을 체계적으로 분석하여, 향후 중국어 교육 및 평가 분야에서 AI 기술의 활용 가능성을 제시하는 데 있다. 또한, 사전훈련 모델과 미세조정 모델의 성능을 비교 분석함으로써, ERNIE Bot의 학습 능력과 개선 가능성을 확인하였으며, 이의 장단점을 분석함으로써, 향후 중국어 교육에서의 활용 방안과 개선 방향을 제시하였다.

향후 연구에서는 다양한 중국어 생성형 AI 모델들 간의 비교 연구, 실제 중국어 교육 현장에서의 적용 사례 연구, 그리고 ERNIE Bot의 한계를 보완하기 위한 방법론적 연구에 초점을 맞춰야 할 것이다.

결론적으로, ERNIE Bot은 중국어 독해 능력에서 높은 수준의 성능을 보여주었으며, 특히 미세조정을 통한 성능 개선 가능성이 확인되었다. 이는 향후 중국어 교육 분야에서 AI 기술의 활용 가능성을 크게 높여주는 결과로, 앞으로 더욱 심도 있는 연구와 실제 적용을 통해 중국어 교육의 질적 향상을 기대할 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

This study evaluated the Chinese reading comprehension abilities of ERNIE Bot, a leading Chinese generative AI, using HSK reading test items. Results showed that ERNIE Bot demonstrates excellent overall Chinese reading comprehension skills, with the pre-trained model excelling in vocabulary and discourse domains, while the fine-tuned model showed significant improvements in grammar and cohesion areas. ERNIE Bot performed best with longer texts providing ample context, and its recently expanded prompt length capacity allows for inputting comprehensive HSK test items across various domains.
The research's significance lies in its systematic analysis of a Chinese AI's reading comprehension abilities, suggesting potential applications in Chinese language education and assessment. By comparing pre-trained and fine-tuned models, the study verified ERNIE Bot's learning capacity and improvement potential.
However, ERNIE Bot showed limitations in understanding basic test-taking rules, logical relationships between short sentences, and comprehension of isolated sentences. Overcoming these limitations requires careful prompt design and involvement of education experts.
Future research should focus on comparative studies of various Chinese AI models, practical application studies in educational settings, and methodological research to address ERNIE Bot's limitations. In conclusion, ERNIE Bot demonstrated high-level performance in Chinese reading comprehension, with potential for improvement through fine-tuning, promising qualitative advancements in Chinese language education through further research and practical applications.