대학 핵심역량 진단 도구의 유연성과 지속가능성 제고를 위한 고도화: A대학 사례를 중심으로 = Advancing University Core Competency Diagnostic Tools for Enhanced Flexibility and Sustainability: A Case Study

국문 초록 (Abstract)

목적 대학 외부 환경 및 내부 상황에 유연하게 대응하면서 핵심역량 기반의 교육 성과를 신뢰도 높게 지속적으로 측정할 수 있는핵심역량 진단 도구의 단계적 고도화 방안을 제시한다.
방법 이를 위해, 선제적으로 역량진단을 시행한 A대학의 사례를 분석하여 단계적 고도화 방안을 탐구하였다. A대학은 고도화를위해 ⅰ) 계획 수립, ⅱ) 역량 구조 개선 및 문항 개발, ⅲ)동등화 적용 종단분석의 세 단계를 거쳤다. 계획 단계에서는 대학 내외부 상황을 반영하고 기존 문항과 진단 결과(2020~2023년)를 분석해 개선 대상 문항을 선정하였다. 문헌 연구와 비전문가 이해도 조사를통해 예비문항을 개발한 뒤 전문가 자문을 통해 4차례 수정⋅보완하였다. 예비조사와 본조사를 통해 구인타당도와 신뢰도를 검증하고 최종 문항을 확정하였다. 고도화 전후의 공통 문항으로 검사 동등화를 수행하고 평균 점수 변화 분석과 LGM 분석을 실시하였다.
결과 기존 4대 핵심역량을 유지하면서도 사회적 요구와 교육과정 변화를 반영해 디지털 리터러시 역량 문항 4개를 추가 개발하였다. 본조사 결과 기존 56문항 중 적합도가 낮은 9문항을 개선해 요인분석에서 발생하던 구조적 문제를 해결하고 신뢰도를 높였다.
검사 동등화를 통해 고도화 전후 결과 간 비교 가능성과 해석의 정확성을 확보하였다. 이를 기반으로 한 종단분석 결과, 고도화로인한 문항 변경의 영향을 동등화를 통해 상쇄한 이후에도, 2024학년도 점수는 이전 4년 대비 상대적으로 큰 폭으로 상승한 것으로나타났다.
결론 단계적 고도화를 통해 기존 도구의 구조적 안정성을 유지하면서 신뢰도와 타당도를 향상시키고, 새로운 요구를 반영하여 유연성을 강화하고 장기적 활용 가능성을 높였다. 또한, 장기적인 교육 성과 평가와 피드백 체계를 구축함으로써 지속적인 개선이 가능하도록 하였다. 더불어, 종단분석을 통해 역량 발달 변화를 추적하고 교육 효과를 실증적으로 검증하여 실질적인 교육 성과 평가 방안을 제시하였다. 본 연구는 이러한 성과를 바탕으로 향후 핵심역량 진단 체계의 실질적 활용과 발전에 기여할 것으로 기대된다.

다국어 초록 (Multilingual Abstract)

Objectives This study aims to propose a phased advancement strategy for university core competency diagnostic tools that enhance flexibility and sustainability in responding to external and internal changes while ensuring the reliable and continuous measurement of core competency-based educational outcomes.
Methods The study explores a phased enhancement strategy through a case analysis of University A, which pro actively implemented competency diagnostics. The enhancement process included three stages: planning, com petency structure improvement and item development, and longitudinal analysis with test equating. During the planning stage, internal and external university contexts were analyzed, and problematic items were identified based on existing diagnostic results (2020-2023). Preliminary items were developed through literature review and comprehensibility testing, then refined through expert consultations. A pilot and main survey validated construct validity and reliability, leading to final item selection. Post-enhancement, test equating was applied to ensure comparability of pre- and post-enhancement results, followed by mean score changes and LGM analysis.
Results The enhanced tool retained the four existing core competencies while integrating four new items assess ing digital literacy to address societal demands and curricular shifts. Among 56 existing items, nine with low suit ability were revised to resolve structural issues identified in factor analysis, thereby improving reliability. Test equating ensured interpretative accuracy and comparability of results pre- and post-enhancement. Longitudinal analysis revealed significant score increases in 2024 compared to the previous four years, even after adjusting for test modifications through equating.
Conclusions The phased enhancement maintained structural stability while improving reliability and validity, en hancing flexibility, and meeting new demands for long-term applicability. Moreover, the established system sup ports sustained improvement through longitudinal evaluation and feedback, providing evidence-based insights into competency development and educational effectiveness. This study contributes to the practical utilization and future advancement of core competency diagnostic systems in higher education.