언어⋅인지 복잡도에 따른 대형언어모델의 개인정보 보호-유용성 균형 분석 = Analysis of the Trade-off between Privacy and Usefulness for LargeLanguage Models with Prompts of Varying Linguistic and Cognitive Complexity

국문 초록 (Abstract)

대형언어모델(LLM)의 개인정보 유출에 대한 우려가 커짐에 따라 개인정보보호 능력을 체계적으로 평가하고 취약성을 파악하는 것이 점점 중요해지고 있다. 본 연구는 LLM의 개인정보 보호 능력이 프롬프트의 언어⋅ 인지 복잡도 증가에 따라 어떻게 변화하는지 체계적으로 분석하고, 안전성과 유용성의 균형이 복잡한 추론 환경에서 유지될 수 있는지 검증하는 것을 목적으로 한다. OpenAI, Google, Anthropic의 6개 최신 LLM을 대상으로 언어⋅ 인지 복잡도가 심화되는 4단계 프롬프트(직접형, 간접형, 일반추론형, 메타추론형)를 적용하여 평가하였다. 성능 측정은 보호 점수(PS), 소통 점수(CS), 유출률(LR)의 세 가지 지표로 수행하였으며, PS-CS 매트릭스를 활용하여 모델을 균형형, 보수형, 과잉소통형, 위험형으로 분류하였다. 실험 결과, 언어⋅ 인지 복잡도 증가 시 보호 점수는 직접형 대비 메타추론형에서 83.4% 감소하였고, 유출률은 3.2배 증가하였다. 소통 점수는 간접형까지 증가하다가 추론형부터 급락하는 비선형적 패턴을 보였다. 특히 메타추론형 프롬프트에서 전 모델이 위험형으로 수렴하며 안전성과 유용성이 동시에 저하된 것을 발견하였다. 이는 복잡한 추론 환경에서 LLM의 개인정보 보호 메커니즘 이 무력화되며, 고급 프롬프팅 기법 사용 시 프롬프트 복잡도를 고려한 안전성 검증이 필수적임을 시사한다.

다국어 초록 (Multilingual Abstract)

As concerns about large language models (LLMs) leaking user data and violating user privacy continue to grow, evaluating the privacy protection capabilities of existing models and identifying potential vulnerabilities has become increasingly important. In this study, we systematically analyzed how the privacy protection of LLMs varies with increasing linguistic and cognitive complexity of prompts. We also examined whether the balance between safety and usefulness can be maintained under complex reasoning conditions.
Six state-of-the-art LLMs developed by OpenAI, Google, and Anthropic were evaluated using four levels of prompts with progressively increasing linguistic and cognitive complexity, including direct, indirect, general reasoning, andmeta-reasoning types. The performance of the models was assessed in terms of three metrics: Protection Score (PS), Communication Score (CS), and Leakage Rate (LR). The Models were also classified into four categories balanced, conservative, over-communicative, and risky based on the PSCS matrix.
The experimental results show that the PS decreased by 83.4 % as linguistic and cognitive complexity increased from the direct prompts to those based on meta-reasoning, whereas the Leakage Rate increased by a factor of 3.2. The Communication Score exhibited a nonlinear pattern in which it increased up to the indirect type but dropped sharply from the reasoning type on ward. Notably, all models converged to the risky type with meta-reasoning prompts, and they also exhibited a simultaneous degradation in safety and usefulness. These findings suggest that LLMs substantially weaken user privacy in complex reasoning environments. This highlights the necessity of safety validation that accounts for the complexity of the expected prompts in applications employing LLMs with more complex prompting techniques.