평정자간의 엄격성 차이정도가 피험자 총점산출 방법에 미치는 영향 = A simulation study for the comparison of person's raw score, standardized score, and facet score under the different conditions of rater severity

국문 초록 (Abstract)

본 연구는 평정자에 의한 피험자 평정과정에서 평정자간의 엄격성에 따른 차이를 반영해서 생성된 모의자료를 가지고 3가지 총점산출 방법(단순총점, 표준점수, Facet점수)에 의한 피험자의 능력추정치를 산출한 다음에 모의 합격률에 따른 3가지 총점산출방법 간의 피험자 등위 일치도를 비교하였다. 모의자료는 8명의 평정자가 2개의 문항을 평정하는 상황을 설정하고, 1000명의 피험자 점수를 평균 0, 표준편차 1의 정규분포 형태로 발생 시켜서 4개의 집단에 무선 배치하였다. 다음으로 평정자의 엄격성에 변화를 주기 위해서 5가지 상황(무선적인 엄격성, 엄격성 동일, 엄격성이 낮을 경우, 엄격성이 높을 경우, 엄격성의 범위가 넓을 경우)을 가정한 다음에 그에 해당하는 모의자료를 생성하였다. 마지막으로 모의 합격률을 상위 10%, 20%, 30%로 설정한 다음에 평정자의 엄격성에 따라서 설정한 5가지 상황에서 3가지 총점산출 방법 간의 합격등위 일치도를 분석하였다. 분석결과 원점수와 표준점수 보정방식의 일치율은 평정자간의 엄격성과는 상관없이 거의 변하지 않은 일정한 패턴을 보이고 있는 것으로 나타났지만, 평정자의 엄격성 분포가 크면 클수록 원점수와 Facet점수간의 일치율은 급격하게 낮아지고 있는 것으로 나타났다. 다음으로 이러한 결과가 실제 평정상황에 미치는 영향에 대한 측정학적 논의를 전개하였다.

다국어 초록 (Multilingual Abstract)

This study investigated the difference between person's raw score and score adjustments using standardized score and facet score under the different conditions of rater's severity. To demonstrate how various rater severity manifest themselves in this analyses, data were simulated to represent five types of rater severity: (1) no effect (2) random (3) leniency (4) harshness (5) wide spread of rater severity.
Data generation was performed using WinGen and Facet computer program. The results showed that the agreement between person's raw score and standardized score was high regardless of rater severity conditions. On the other hand, as the magnitude of the rater severity increases, the agreement of raw scores and facet score was dramatically low. The reasons for the results were discussed and suggestions were made for future studies