학문목적 한국어 학습자를 위한 토론 평가 연구 : 교육토론(Academic Debate)을 중심으로
저자
발행사항
서울: 동국대학교, 2018
학위논문사항
발행연도
2018
작성언어
한국어
주제어
발행국(도시)
서울
기타서명
(A) Study on methods of Debate Evaluation for Korean Language Learners for Academic Purpose: focused on Academic Debates
형태사항
x, 245 p.: 삽도; 26 cm.
일반주기명
동국대학교 논문은 저작권법에 의해 보호받습니다.
지도교수: 김무봉
부록: '1. 학습자 설문지, 2. 교사 설문지' 수록
서지적 각주 및 참고문헌(p. 226-236) 수록
DOI식별코드
소장기관
The purpose of this study is to develop an educational tool which will be used to evaluate debates of Korean Language Learners for Academic Purpose, to assess accurately their debating skills. It is to provide the most optimal teaching guideline to teachers and debating knowledges to students. Particularly since the debate is a field of study where we can design assessment tasks for Interactive Speaking, modeling a Debate Ballot equipped with scientific grounds enables us to measure student’s linguistic competence comprehensively. Furthermore, it enhances foreign language learners’ analytical competence in a way that improves their college scholastic abilities.
The educational tool for debate evaluation which this paper has developed is a Debate Ballot whose standardization differs depending on debate formats. Thus, the establishment of an academic format and propositions optimally adapted for Korean Language Learners for Academic Purpose are proceeded before that of the ballot. The two former elements are developed in the third chapter, in order to find the format enhancing students’ debate performance, along with an analysis on Korean language teaching textbooks and the surveys of teachers and students. As a result, through this process, the format of the ‘Korean Academic Debate’ is determined as comprised of two debaters for each team in a duration of 24 minutes.
The format is devised as the simplest process in which each debating both sides exchange their opinions following an order of ‘constructive speech – cross examination – rebuttal’. The first speaker is entitled with a constructive speech and the second with rebuttal to make sure that each speaker presents his/her abilities in research, argument, critical thinking, proficiency in writing and in delivery. In the matter of cross-examination, all advocates are required to participate in it to evaluate their skills in Interactive Speaking. In the duration of debate, this model allows each speaker enough and fair opportunity to speak so that their skills are to be evaluated impartially. Also, regarding to propositions, the Debate Propositions on Korean Culture are developed based on the criteria for a debate proposition of Value (Freeley & Steinberg, 2000). In the following chapter, the Debate Ballot is devised in a reference to the ‘Korean Academic Debate’.
The ‘Debate Ballot’ has been completed through the third (Analysis of Korean language teaching textbooks with theoretical study)and the forth chapters (Analysis on the evaluation system and the verification ofits Content Validity).The items of evaluation on the ballot are designed to be observable by judges to increase the reliability of ballot and the Washback Effect.
Taking the case of Analytic Scoring, the items are divided into subordinate categories to score each of them separately. By this way of scoring, we can maximize the Washback Effect because it gives clues to understand which are learner’s strong and/or weak parts, and so that they can concentrate on training for weak parts. Regarding the process of scoring, it consists of two different parts in terms of when the evaluation is made: Procedural Evaluation happens in the duration of the debate; on the other hand, Overall Evaluation is proceeded after the debate. Debaters’ performances in constructive speech, cross examination and rebuttal are supposed to be measured during the Procedural Evaluation; However, their expression skills such as verbal/nonverbal communication are scored during the Overall Evaluation. The Debate Ballot utilize a scoring system on a scale to 5.
Next, the Content Validity of the Ballot has been tested. During this process, five judges have provided statements referring to the importance on items whether they are qualified enough to be criteria for evaluation. The final version of the ‘Debate Ballot’ has been confirmed after the verification of Content Validity based on coefficients deduced from goodness-of-fit test on the final ballot. In the fifth chapter, the ballot has been also verified in regard to the Reliability and the Significance. Specifically, by proceeding an experiment of the debate model and having it evaluated by judges, the ballot has been verified of its Reliability. The reliability has been verified by simple correlation coefficient of 2 experienced experts who have at least10 times of experiences as debate judges.
As a result of the analysis, it’s been confirmed with the outcome of =.82(p<.01), that the ballot meets high standard in terms of the reliability. In case of testing the significance, the survey and interviews after the experiment have been used to find out about its practicality and the Washback Effect. As to the survey on practicality, five categories such as the duration of debate, items for evaluation, scoring system, reliability and efficacity have been evaluated by judges and 80~90% of them have given affirmative opinions on every category. Likewise, as to that of the Washback Effect, regarding two questions: ‘Does the criteria of evaluation have a positive effect on teaching directions?’ and ‘Does the criteria of evaluation prove the necessity of feedbacks for students?’, all of judges answered ‘Yes’, which confirms that we can witness high level of the Washback Effect through the Debate Ballot. On that account, ‘Korean Academic Debate’ and the standardized ‘Debate Ballot’, which are developed in this paper will be an effective teaching method which can enhance the debating skills for Korean Language Learners for Academic Purpose.
본 연구의 목적은 학문목적 한국어 학습자의 토론 능력 수준을 정확하게 평가할 수 있는 토론 평가도구를 개발하여 교사에게는 최선의 지도 방안을 제공하고, 학문목적 한국어 학습자에게는 효과적인 토론 교육을 제공하는 데 있다. 또한 토론은 상호작용적 말하기 평가 과제 설계가 가능한 분야로, 과학적인 토론 ‘평가틀’의 설계는 학문목적 한국어 학습자의 언어 능력을 거시적이고 전체적으로 측정할 수 있을 뿐만 아니라, 대학 수학 능력의 향상을 도모하여 외국인 학습자의 연구 역량 또한 발전시킬 수 있는 교육 방안이 된다.
본고가 개발한 토론 평가도구는 일정한 형식을 갖춘 ‘평가틀’로, 토론의 형식에 따라 표준화가 이루어진다. 따라서 학문목적 한국어 학습자에게 최적화된 토론 형식과 논제를 먼저 개발하였고, 이에 맞추어 토론 평가틀을 개발하였다. 토론 형식과 논제의 개발을 위해 3장에서 한국어 교재 분석 및 학습자와 교사 설문조사 분석을 진행하였고, 다양한 교육토론의 형식과 구조를 분석하여 학문목적 한국어 학습자의 토론 수행에 최적화된 토론의 형식과 구조를 찾고자 하였다. 이러한 과정을 거쳐 총 토론 시간이 24분인 2:2 토론 방식의 ‘한국어 교육토론’ 기본 형식을 개발하였다. 이 형식은 찬성과 반대가 각각 1회씩의 ‘입론-문답-반박’을 주고받는 가장 간결한 절차로, 제1 토론자는 입론을, 제2 토론자는 반박을 하도록 하여 각 토론자의 자료 조사와 논증 능력, 비판적 사고 능력, 작문 구성 능력, 전달 능력을 드러낼 수 있도록 하였고, 문답은 양 측의 토론자 모두 참여하도록 하여 상호작용 능력도 평가할 수 있게 설계하였다. ‘한국어 교육토론’ 형식은 토론의 총 소요 시간은 24분에 불과하면서도 각 토론자에게 충분하고 공평한 발언권을 부여하여 모든 토론자의 역량을 동일하게 평가할 수 있도록 개발하였다. 또한 논제는 Freeley & Steinberg(2000)에서 제시한 논제 작성 원칙과 가치 논제를 중심으로 한국문화 논제를 개발하였다.
4장에서는 앞서 개발한 ‘한국어 토론형식’에 맞춰 ‘토론 평가틀’을 개발하였다. ‘토론 평가틀’은 3장에서 진행한 한국어 교재 분석과 이론적 고찰, 4장에서 진행한 평가 체계 분석과 전문가를 대상으로 한 내용타당도 검증을 거쳐 완성되었다. ‘평가틀’의 항목은 평가자 관찰이 가능하고, 채점 신뢰도를 높일 수 있으며, 역류효과를 높일 수 있도록 구성하였다.
‘평가틀’의 채점 방식은 ‘분석적 채점 방식’을 채택하였다. ‘분석적 채점 방식’은 평가 범주를 여러 하위 범주로 나누어 각 범주에 분리된 점수를 부여하는 채점 방식으로, 학습자의 능력을 신장시킬 수 있는 단서를 제공해 주기 때문에 학습자의 강한 부분과 취약한 부분에 대한 파악이 가능하고, 이를 통한 취약 부분의 훈련이 용이해 역류효과를 최대화할 수 있는 방법이 된다. ‘평가틀’의 ‘평가 시점’은 토론이 진행되고 있는 상황에서 토론의 수행 과정을 따라가며 동시에 평가하는 ‘과정별 시점’과 토론이 끝났을 때 총체적으로 평가하는 ‘총체적 시점’으로 나누었다. ‘입론․문답․반박’ 능력 등의 ‘토론 수행 능력’은 토론 진행 중에 평가하는 ‘과정별 시점’을, ‘언어적․비언어적 표현 능력’ 등의 ‘토론 표현 능력’은 토론이 끝났을 때 모든 상황을 종합적으로 판단하여 평가하는 ‘총체적 시점’을 적용하였다. ‘평가틀’의 평가척도는 5점 척도를 적용하였고, 이에 따른 평가기준을 설정하였다.
다음으로는 ‘평가틀’의 내용 타당도를 검증하였다. 평가틀의 내용타당도를 확보하기 위해 전문가 5인에게 의뢰하여 평가항목 중요도에 대한 의견서를 받았다. 내용 검증 결과 ‘평가틀’의 최종안을 확정하였고, 이렇게 완성된 최종안의 적합도 계수를 도출하여 내용 타당도를 검증하였다.
5장에서는 평가 신뢰도와 유용성을 통해 ‘평가틀’을 검증하였다. 이를 위해 학문목적 한국어 학습자의 ‘토론 실습’ 및 동영상 촬영, 전문가를 대상으로 한 평가 예비 실험 및 실험, ‘평가틀’에 대한 신뢰도 검증을 진행하였다. 신뢰도 검증은 5인의 전문가 중에서 토론 평가 경험이 10회 이상인 2인의 채점 일치도를 단순 상관계수를 활용하여 알아보았다. 분석결과, =.82(p<.01)로 나타나 신뢰도가 높은 것으로 확인되었다.
유용성의 검증은 전문가 평가 실험 이후 진행한 설문조사와 인터뷰 분석을 통해 실용성과 역류효과로 나누어 알아보았다. 실용성에 대한 설문조사는 총 평가 시간, 평가항목의 내용, 척도, 평가 신뢰도, 효율성 등의 다섯 가지 항목으로 나누어 진행하였는데, 모든 항목에 대해 전문가들은 80~100%가 ‘그렇다’고 답하여 ‘평가틀’의 실용성이 높은 것으로 나타났다. 역류효과에 대한 설문조사는 ‘평가항목이 교사의 토론 지도 방향에 대해 긍정적인 영향력을 미치는가?’와 ‘평가항목이 학습자 피드백에 필요한 근거를 제시해 주고 있는가?’의 두 가지로 진행하였는데, 두 항목 모두 전문가들은 ‘그렇다’고 답하여 ‘평가틀’을 통해 얻을 수 있는 ‘역류효과’도 높은 것으로 나타났다.
본 연구에서 개발한 ‘한국어 교육토론 형식’과 표준화된 ‘평가틀’은 ‘학문목적 한국어 학습자’들의 토론 능력을 향상시킬 수 있는 수업 도구가 될 것이다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
| 주요 개정내역 | 변경 사유 |
|---|---|
| · 개인정보 처리 목적, 항목 및 법적 근거 수정 · 본인대상정보전송요구권 행사 방법 안내 · 개인정보 보호수준 평가 결과 추가 |
|
한국교육학술정보원은 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
목 차
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적 이용·제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
개인정보파일 검색(privacy.go.kr)| 개인정보파일의 명칭 | 수집·이용 근거 | 수집·이용 목적 | 수집·이용 항목 | 보유·이용기간 |
|---|---|---|---|---|
| [학술연구정보 서비스 이용자 가입정보] |
「개인정보 보호법」 제15조 제1항 제4호(계약 이행) |
회원 서비스 운영 |
ID, 비밀번호, 이름, 생년월일, 신분(직업구분), 이메일, 소속분야, 보호자 성명(어린이회원), 보호자 이메일(어린이회원) |
회원탈퇴시 까지 |
| 「전자상거래 등에서의 소비자보호에 관한 법률」 제6조 및 같은 법 시행령 제6조 |
주문 및 결제 처리 |
ID, 비밀번호, 이름, 주소 |
5년 |
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
| 구분 | 담당자 | 연락처 |
|---|---|---|
| KERIS 개인정보 보호책임자 | 정보보호본부 안재호 |
- 이메일 : jinuk@keris.or.kr - 전화번호 : 053-714-0158 - 팩스번호 : 053-714-0195 |
| KERIS 개인정보 보호담당자 | 개인정보보호부 송진욱 | |
| RISS 개인정보 보호책임자 | 교육학술데이터본부 정광훈 |
- 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
| RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적인 이용ㆍ제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)