시간을 반영한 채점이 동형검사 신뢰도에 미치는 영향: 새로운 독해 문항을 중심으로 = The Effect of Response Time-Weighted Scoring on Alternate Forms Reliability: Focusing on New Reading Comprehension Items

국문 초록 (Abstract)

독해는 지식 습득의 핵심 경로로 학업 성취와 직결된다. 따라서 학습 개선을 위한 적절한 개입 방안을 마련하기 위해서는 독해 평가가 수험자의 실제 독해 능력을 정확히 반영해야 한다. 본 연구는 독해 평가의 신뢰도를 높이기 위해 수험자의 문항 풀이 시간을 반영하는 채점 방안을 제안하였다. 시간을 반영한 점수는 원점수에 문항 풀이 시간 가중치를 곱하여 산출되었다. 문항 풀이 시간 가중치란 특정 수험자의 문항 풀이 시간에 대한 전체 수험자의 평균 문항 풀이 시간의 비를 의미한다. 시간을 반영한 점수는 원점수에 비해 동형검사 신뢰도가 높을 것으로 예상하였다. 이를 알아보기 위해 연구 1에서는 대학생 73명을 대상으로 문단의 올바른 순서를 배열하는 문단 직소 퍼즐 문항으로 구성된 두 개의 독해 검사를 실시하였다. 이후 두 검사의 원점수 간의 상관과 시간을 반영한 점수 간의 상관을 비교하였다. 그 결과, 시간을 반영한 점수의 상관이 원점수의 상관보다 통계적으로 유의미하게 더 높았다. 연구 2에서는 77명의 참가자를 대상으로, 지문을 읽은 후 지문 없이 복수정답 문항을 푸는 두 개의 독해 검사가 실시되었다. 그 결과 연구 1과 같은 패턴의 결과를 얻었다. 두 연구 결과는 문항 풀이 시간을 반영한 채점 방식이 수험자의 독해 능력을 보다 일관성 있게 측정할 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

Reading comprehension is a key path to knowledge acquisition and is closely related to academic achievement. Therefore, in order to devise an appropriate intervention plan, the test taker's actual reading ability must be accurately assessed. The present study proposed a new scoring method that reflects the examinee's response time for each item in order to increase the reliability of reading comprehension tests. The new score was obtained from the raw score multiplied by the response time-weight. The response time-weight is the ratio of an individual examinee's response time to the mean response time of all the examinees. It was hypothesized that time-weighted scores would demonstrate higher alternate forms reliability than the raw scores. In Experiment 1, 73 university students completed two alternate tests with paragraph jigsaw puzzle items that required arranging paragraphs in the correct order. The correlation between the two time-weighted scores was significantly higher than that between the two raw scores. In Experiment 2, 77 participants took two tests where they read the passage and then solved multiple-answer items without the passage. The result showed the same pattern as in Experiment 1. The results of the two experiments suggest that the time-weighted scoring method can measure the examinees’ reading comprehension ability more consistently.