한국어 고급 학습자의 쓰기 능력 평가를 위한 평가 준거 개발 연구
저자
발행사항
서울 : 연세대학교 대학원, 2024
학위논문사항
학위논문(박사) -- 연세대학교 대학원 언어정보학협동과정 한국어교육정보학전공 2024.2
발행연도
2024
작성언어
한국어
주제어
발행국(도시)
서울
기타서명
A study on the development of evaluation criteria for evaluating the writing skills of advanced Korean language learners
형태사항
xⅲ, 217 p. : 삽화 ; 26 cm
일반주기명
지도교수: 한송화
UCI식별코드
I804:11046-000000553617
소장기관
최근 한국어 학습자의 숙달도 수준이 높아짐에 따라 한국어 학습자에게 요구되는 한국어 능력 중에 쓰기 능력이 갈수록 중요해지고 있다. 한국어 고급 학습자는 주로 직업이나 학문 목적으로 한국어를 학습하는데 직장이나 대학에서 쓰기 능력은 필수적인 능력으로 꼽힌다. 그러나 쓰기는 외국어 학습자에게 가장 어려운 기능으로 알려져 있다. 모든 학습에 있어 학습자의 능력에 대한 정확한 판단은 중요하며 학습 시작의 기준점이 된다. 이에 본 연구에서는 한국어 고급 학습자의 쓰기 능력을 타당하게 평가할 수 있는 평가 준거를 마련하였다. 특히 쓰기 능력은 글의 장르에 따라 달라질 수 있으므로 장르별, 그중에서도 고급 학습자들에게 자주 요구되는 장르인 논설문과 설명문의 쓰기 평가 준거를 개발하였다. 이를 위해 본 연구에서는 먼저 쓰기 능력과 쓰기 평가의 개념에 대해 이론적으로 검토하고 논설문과 설명문 장르의 특징을 상세하게 살핀 후 ‘쓰기 능력 가설 모형’을 수립하였다. 쓰기 능력 가설 모형에서는 쓰기 능력이‘1. 문법 능력, 2. 글의 조직/전개 능력, 3. 사회 언어학적 능력, 4. 기능 수행 능력, 5. 내용 생성 능력’의 다섯 개 능력으로 구성된 것으로 가설이 수립되었다.
쓰기 능력 가설 모형 수립 후 평가 준거를 개발하기 위해 본 연구는 크게 두 개의 연구 단계를 거쳤다. 첫 단계에서는 쓰기 평가 항목을 개발하고 내용 타당도와 구인 타당도를 검증하였다. 두 번째 단계에서는 첫 단계에서 개발한 평가 항목을 이용하여 고급 학습자의 작문을 채점하여 실제 타당도를 검증하는 한편 평가 항목별 중요도에 따른 배점을 하여 평가 준거 개발을 완성하였다.
첫 단계 작업은 다음과 같은 순서로 진행되었다. 먼저 쓰기 능력을 타당하게 평가할 평가 항목 선정을 위해 문헌 53개를 검토하여 102개의 평가 항목을 도출하고 쓰기 능력 가설 모형의 각 영역으로 분류하였다. 쓰기 능력의 하위 문항으로 분류된 102개 평가 항목을 연구자가 자체적으로 수립한 네 가지 기준을 기반으로 33개 항목으로 정비하였다. 다음으로 33개 항목의 내용 타당성을 검증하기 위해 한국어 교육 전문가 5명의 평정을 거친 후, 한국어 교원 287명을 대상으로 설문 조사를 하여 문항의 중요도를 평가하게 하였다. 그리고 설문 조사 결과를 기반으로 탐색적 요인분석을 진행하여 공통된 항목끼리 분류가 되도록 하였다. 요인분석 결과 논설문과 설명문 모두 3개 요인 9개 항목으로 분류되었다. 먼저 논설문 요인분석 결과를 살펴보면 제1 요인(주장의 설득력)에는 ‘논증의 타당성, 주장의 명확성, 근거의 관련성’세 항목이 포함되었으며. 제2 요인(표현의 적절성)에는 ‘표현 양식의 적절성, 문장의 유창성, 텍스트의 응집성’, 제3 요인(내용의 충실성)에는 ‘내용의 독창성, 독자에 대한 고려, 내용의 정확성’ 세 항목이 포함되었다. 다음 설명문의 요인분석 결과를 살펴보면 제1 요인(구조의 설명력)에는 ‘텍스트의 응집성, 글의 일관성, 글의 명료성’ 세 항목이 포함되었으며 제2 요인(정보의 충실성)에는 ‘정보의 정확성, 내용의 객관성, 정보의 충분성’, 제3 요인(표현의 적절성)에는 ‘어휘의 다양성, 표현 양식의 적절성, 문장의 유창성’ 세 항목이 포함되었다. 이와 같이 탐색적 요인분석을 통해 논설문과 설명문의 평가 영역과 평가 항목을 도출하였으며 확인적 요인분석을 추가로 진행하여 모형 적합도를 확인한 결과 RMSEA, GFI, CFI, NNFI에서 모두 적합한 것으로 확인되었다.
이어 두 번째 단계에서는 첫 단계에서 개발한 평가 항목의 실제 타당도를 검증하고, 평가 항목별 배점하기 위해 한국어 고급 학습자의 작문을 수집하고 채점한 후 채점 결과를 분석하였다. 본 연구에서는 국내 대학(원)에 재학 중인 고급 학습자를 대상으로 논설문 32편, 설명문 31편을 수집하였으며 첫 단계에서 개발한 평가 항목을 사용하여 분석적 방법으로 한국어 교원 4명이 3주에 걸쳐 채점하였다.
채점 결과는 다국면 라쉬 모형을 활용하여 분석하였으며 문항 난이도, 학습자 능력 추정치, 채점자 엄격성 등이 분석되었다. 분석 결과, 논설문의 경우 가장 어려운 항목이 ‘내용의 독창성’으로 나타났고 부적합 항목은 없었으며 각 항목은 변별적으로 학습자의 쓰기 능력을 평가하는 것으로 나타났다. 설명문의 경우는 가장 어려운 항목이 ‘텍스트의 응집성’으로 나왔으며 ‘정보의 정확성’이 과적합으로 나타나 ‘정보의 충실성’ 관련 나머지 두 개 항목에 의존적인 경향을 나타냈다. 즉, 채점자가 ‘정보의 정확성’ 항목의 채점을 변별적으로 하지 못하고, ‘내용의 객관성, 정보의 충분성’ 항목과 비슷하게 채점하는 경향성이 나타났다. 따라서 채점자 교육에서 이와 같은 부분을 강조하고 채점 기준을 잘 숙지하도록 하여 과적합 경향을 방지할 필요가 있다. 그러나 그 외 설명문 평가 항목은 모두 변별적으로 학습자의 쓰기 능력을 잘 평가하는 것으로 나타났다.
한편, 학습자별 논설문과 설명문의 쓰기 능력을 비교한 결과 한국어 고급 학습자들의 논설문 쓰기 능력과 설명문 쓰기 능력은 상관계수가 .543으로 나타나 두 장르의 쓰기 능력은 상관이 없지 않은 것으로 나타났다. 즉, 두 장르의 쓰기 능력 사이에는 상관이 있기는 하지만 높은 상관은 아니다. 따라서 논설문을 잘 쓰는 학습자가 설명문도 잘 쓴다고 예측하기는 어렵다고 할 수 있다. 모든 글에 공통으로 적용되는 평가 항목(텍스트의 응집성 등)이 있으므로 서로 다른 두 장르의 쓰기 능력에 어느 정도 상관이 나타나는 것은 예상할 수 있는 부분이다. 그러나 결론적으로는 글의 장르에 따라 학습자의 쓰기 능력이 달라짐이 확인되었다.
두 번째 단계 마지막 작업은 항목별 배점 설계였다. 항목별 배점을 위해 채점자들은 하나의 작문에 대해 총체적 방식과 분석적 방식으로 2회에 걸쳐 채점을 진행하였고, 분석적 방식으로 나온 각 평가 항목의 점수를 총체적 방식으로 나온 글의 총점과 상관분석을 하였다. 상관분석 결과인 상관계수를 활용하여 총점과 상관이 높은 항목에 가중치를 주어 배점하였다.
이와 같은 과정을 거쳐 한국어 고급 학습자의 논설문과 설명문을 타당하게 평가할 수 있는 평가 준거가 마련되었다. 본 연구에서 도출한 채점표를 활용하면 논설문과 설명문의 특성을 살려 평가를 할 수 있으며 학습자들은 더 타당하게 평가를 받을 수 있을 것이다. 또한 본 연구에서 개발한 채점 기준표를 활용하여 채점하고 학습자에게 결과를 피드백하면 학습자들은 글의 장르별 자기의 약점과 강점을 확인하고 이를 기반으로 한 학습 진행으로 더 효율적으로 쓰기 능력을 향상시킬 수 있을 것이다.
다른 한편으로는, 본 연구에서는 한국어‘고급’ 학습자의 논설문과 설명문 쓰기 평가 준거를 개발하였는데 향후 초급, 중급 학습자를 위한 쓰기 평가 준거를 개발하는 데 있어 본 연구가 마중물 역할을 할 수 있으며, 향후 한국어 학습자의 쓰기 자동 채점을 위한 평가 자질(features) 및 배점을 위한 기반이 될 수 있을 것이다.
본 연구가 향후 한국어 쓰기 평가 연구에 자그마한 보탬이 되기를 바라며 앞으로 더 많은 후속 연구를 통해 한국어 평가 분야에 많은 학문적 발전이 있기를 기대한다.
As the proficiency levels of Korean language learners have been increasing recently, writing skills are becoming increasingly important among the Korean language abilities required for learners. Advanced Korean learners primarily acquire Korean for vocational or academic purposes, and proficiency in writing is regarded as an essential skill in professional or university settings. Nevertheless, writing is perceived as the most challenging skill for foreign language learners. In every educational journey, making accurate assessments of learners' abilities is crucial and serves as a foundational reference point at the beginning of the learning process. Hence in this study, we formulated criteria for evaluation to appropriately assess the writing skills of advanced Korean learners. In particular, as writing skills can differ based on the genre of the text, criteria have been developed for evaluating persuasive and expository texts, which are commonly expected of advanced learners. To achieve this, the concept of writing ability and writing evaluation was theoretically reviewed, and the characteristics of the persuasive and expository texts were examined in detail, from which we established a 'Writing Ability Hypothesis Model'. In the Writing Ability Hypothesis Model, writing ability is hypothesized to consist of five distinct skills: 1. Grammatical ability, 2. Organization/Development ability, 3. Sociolinguistic ability, 4. Functional ability, and 5. Content Development ability.
In order to develop evaluation criteria after establishing the Writing Ability Hypothesis Model, this study went through two main research stages. In the initial stage, we developed writing evaluation items and validated the content validity and construct validity. In the second stage, actual validity was verified by grading advanced learners' writing using the evaluation items developed in the first stage, and the development of evaluation criteria was completed by assigning points according to the importance of each evaluation item.
The first step was carried out in the following order. First, to select evaluation items to validly assess writing skills, I reviewed 53 articles in the literature and derived 102 evaluation items and categorized them into each area of the Writing Ability Hypothesis Model. These 102 evaluation items classified as sub-items of writing ability were then reorganized into 33 items based on four standards established by the author. Next, in order to verify the content validity of the 33 items, they were evaluated by five Korean language education experts, and a survey was conducted on 287 Korean language teachers to evaluate the importance of the items. Third, exploratory factor analysis was conducted based on the results of the survey in order to reorganize the results into common factors. As a result of factor analysis, both the persuasive and expository text were classified into 3 factors 9 items. First, looking at the results of the factor analysis of the persuasive text, the first factor (persuasiveness of the argument) included the following three items: 'validity of reasoning, clarity of the claim, relevance of the evidence.' The second factor (appropriateness of expression) included the following three items: 'appropriateness of expression style, fluency of sentences, coherence of the text.' The third factor (fidelity of content) included the following three items: 'originality of content, consideration for the audience, accuracy of content.' Next, examining the results of the factor analysis for explanatory texts, the first factor (explanatory power of structure) included the following three items: 'coherence of the text, consistency of writing, clarity of writing', and the second factor (fidelity of information) included the following three items: 'accuracy of information, objectivity of content, sufficiency of information', and the third factor (appropriateness of expression) included 'diversity of vocabulary, appropriateness of expression style, fluency of sentences'. As such, the evaluation areas and evaluation items of the persuasive and expository texts were derived through exploratory factor analysis. Subsequently, confirmatory factor analysis was conducted to verify the model fit, and the results indicated suitability across all indices, including RMSEA, GFI, CFI, and NNFI.
Then in the second stage, the actual validity of the evaluation items developed in the first step was verified. To assign scores for each evaluation items, the writings of advanced Korean learners were collected and graded, and the scoring results were analyzed. In this study, 32 persuasive texts and 31 expository texts were collected from advanced learners enrolled in domestic universities (or graduate school), and four Korean language instructors scored over three weeks using the evaluation criteria developed in the first step.
The scoring results were analyzed through a multi-faceted Rash Model, which analyzes item difficulty, learner ability estimation, and scorer rigor. The results indicated the most challenging criterion in persuasive text to be 'originality of the content'. Furthermore, the results demonstrated there to be no irrelevant criterion and every criterion was found to differentially evaluate the learner's writing ability. In the case of expository text, the most challenging criterion was 'cohesiveness of text', and 'accuracy of information' appeared to be overfitting and tended to be dependent on the remaining two questions related to ‘fidelity of information’. In other words, the scorer was unable to discriminate the score of the 'accuracy of information' question, and tended to score similarly to the 'objectivity of the content, and sufficiency of information'. Therefore, it is necessary to prevent overfitting by emphasizing such areas and making sure that the scoring criteria are well understood in the scorer's training. However, all other explanatory questions were found to differentially evaluate the learner's writing ability well.
On the other hand, as a result of comparing the writing abilities of each learner's persuasive and expository texts, the correlation coefficient between the persuasive writing ability and expository writing ability of advanced Korean learners was .543, indicating that the writing abilities of the two genres were not irrelevant. In other words, although there is a correlation between the writing abilities of the two genres, it is not high. Therefore, it can be said that it is difficult to predict that a learner who is good at writing persuasive texts would also be good at writing expository texts. Since there are evaluation items (such as the cohesion of texts) that are common to all both types of exts, it is predictable that there is some correlation between the writing abilities of the two different genres. In conclusion, however, it was confirmed that the learner's writing ability varies depending on the genre of the text.The last task of the second stage was the item-by-item distribution design. In order to score by item, the scorers scored twice for one composition in an overall method and an analytical method, and the score of each evaluation item from an analytical method was analyzed with the total score of the article in an overall method. The correlation coefficient, which is the result of the correlation analysis, was used to assign weight to items that had a high correlation with the total score.
Through such extensive process, we were able to develop evaluation criteria to appropriately evaluate the persuasive and expository texts of advanced Korean learners. By utilizing the scoring rubric developed in this study, it is possible to assess the learner’s abilities according to the varying characteristics of persuasive and expository texts thereby providing learners with a more valid evaluation. Moreover, we expect the assessment and feedbacks utilizing this scoring rubric would allow for learners to identify their own weaknesses and strengths for each genre of writing and enhance their writing skills more efficiently based on the given feedback.
On the other hand, this study developed persuasive and expository writing evaluation criteria for Korean 'advanced' learners, and this study can play a supportive role in developing writing evaluation criteria for beginner and intermediate learners in the future, and it will be able to serve as a basis for evaluation features and allocation for automatic writing scoring of Korean learners in the future.We hope this study provides a small contribution to future Korean writing evaluation studies, and we look forward to many academic developments in the field of Korean language evaluation through more follow-up studies in the future.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)