비전문가의 평가 정확도 향상 방안 탐색: 공통 평가 항목 점수 기반 가중치 함수를 활용한 점수 보정 방법 연구* = Exploring Method for Enhancing Non-expert Evaluation Accuracy: Using Weighted Functions Based on Common Evaluation Items

국문 초록 (Abstract)

평가 활동은 학습이나 훈련에 도움이 되지만, 비전문가의 평가 정확도에 대한 우려로 인해 적극적으로 활용되지 않는다. 평가 정확도를 향상시키기 위한 몇몇 방안들이 있기는 하지만, 평가 외에도 추가적인 절차나 과정이 필요하다는 한계가 있다. 본 연구에서는 소수의 공통 평가 항목을 이용하여, 전문가 점수와의 차이에 따라 가중치를 부여함으로써 평가 정확도를 향상시키는 방안을 탐색하였다. 연구 1에서는 50명의 가상의 비전문가가 글을 평가하는 상황을 가정하고 시뮬레이션을 실시하였다. 그 결과, 비전문가와 전문가의 평가 점수 간 상관 정도에 따라 공통 평가 항목을 이용한 보정 결과가 달라짐을 발견하였다. 상관이 높을 경우 공통 평가 항목을 이용한 보정이 효과가 없었지만, 다를 경우 하나의 공통 평가 항목을 활용한 가중치로 평가 점수를 보정할 때 평가 정확도가 향상되었다. 연구 2에서는 실험 장면에서 주장문을 평가한 실제 자료를 이용하였다. 분석 결과, 연구 1에서와 같은 결과를 얻었다. 논의에서는 본 연구 결과를 실제 평가 장면에 적용할 가능성이 다루어졌다.

다국어 초록 (Multilingual Abstract)

Evaluation activities are beneficial for learning or training. However, they are not actively used due to concerns about the evaluation accuracy of non-experts. Although there are methods to improve accuracy, there is a limitation that additional procedures or processes are required in addition to evaluation. In this study, we aimed to improve evaluation accuracy of non-expert by using common evaluation items and assigning weights based on differences from expert scores. In Study 1, we conducted a simulation with 50 non-experts evaluating essays. Our findings indicate that when non-experts’ evaluation methods are different from those of experts, our proposed method using a single common evaluation item improves assessment accuracy. In Study 2, we analyzed data from experimental situation in which non-expert evaluated each other’s essays. Consistent with Study 1, our proposed method effectively improved assessment accuracy when non-experts’ evaluation methods differed from those of experts. In the discussion section, we addressed the applicability of the method proposed in this study in real world settings.