양극배제평균 방법에 의한 무용 실기능력 평가의 적절성 재탐색* = Revisit of Dance Performance Judgment by Trimmed Mean Method

국문 초록 (Abstract)

이 연구는 동아무용콩쿠르 본선 진출 남녀 현대무용수 집단을 대상으로 전통적으로 적용해온 양극배제평균(TM) 방법이 무용수의 실기능력 수준을 판정하는 방법으로 공정한가를 Rasch 모형에서 산출된 로짓점수와 비교하여 분석하는 데 목적이 있다. 이 연구의 대상은 2023년 동아무용콩쿠르의 현대무용 부문 일반부 본선에 진출한 남자(n=7), 여자(n=7) 무용수 전체 14명이다. 이들의 실기능력은 무용장르별로 무용경력과 심사경험 등을 고려하여 선정된 7명의심사자에 의해 평가되었다. 연구문제의 분석을 위해 Rasch 모형을 적용하여 심사자의 남녀 무용수집단에 대한 편파성을 검증하고 심사자별, 무용수별, 로짓(logit) 점수와 내 ․ 외적합도 지수, 분리신뢰도 지수(RS)를 산출하였다. 자료분석은 SPSS Window와 Winsteps 4.6.2.1을 이용하였다. 심사자의 남녀 무용수집단에 대한 판정의 편파성(Rasch-Welch t, p≥.06)은 발견되지 않았다. 모형적합도 검증결과, 심사자들의 평가 결과는 전체적으로 일관성을보이고 있으나 무용수들의 실기능력 수준을 효과적으로 변별하지는 못한 것(RS=.75)으로 나타났다. TM 산출에서제외대상 여부와 Rasch 적합도 검증결과 적합 여부 간의 합치도(k=.108)는 매우 낮으며 심사자들 간의 심사결과일치도(Cronbach’s α=.66) 또한 최소한 만족시켜야 할 기준(.70)에도 미치지 못하고 있다. TM 점수와 로짓 점수간에는 매우 높은 상관(r=.97)을 보이고 있으나 두 방법으로부터 산출된 1위와 2위의 순위에는 변동이 있는 것으로나타났다. TM 방법은 무용 현장에서 우수한 무용수를 선별할 수 있는 타당한 방법으로 그 정당성을 보장받기는어려우며 새로운 평가방안이 모색되어야 할 것이다.

다국어 초록 (Multilingual Abstract)

The present study was to analyze whether the Trimmed Mean (TM) is a fair method to determine the performance levels of dance competitors by comparing it with the logit score calculated by the Rasch model.
The data consisted of 7 judges’ assessment of 14 competitors (7 male and female each) who qualified for the modern dance category of 2023 Dong-A Concours. The Rasch model was applied to verify the judge’s bias toward the male and female dancer group and to calculate the logit scores for judges and dancers, the Infit and Outfit statistics, and the reliability of separation statistics (RS). The collected data was anayzed by SPSS Window and Winsteps 4.6.2.1 programs. No bias (Rasch-Welch t, p≥.06) was found in the judges’ decisions toward the male and female dancers. The judges’ assessment results showed internal consistency but did not effectively discriminate the level of the dancers’ performance (RS=.75). The degree of agreement between the exclusion in the TM calculation and the unexpected misfit in the Rasch fit test result (Cohen’s k = .11) was very low, and the internal consistency among the judges (Cronbach’s α = .66) was also below the minimum standard (.70).
It appeared that there was a very high correlation (r=.97) between TM and logit scores, but was a change in the rankings of first and second place. It was recommended that a new assessment method as an alternative of the TM should be sought in the dance field.