디지털 리터러시의 인지적 영역 평가도구 개발을 위한 기초 연구 = A Preliminary Exploration for the Development of Digital Literacy Assessment Focused on Cognitive Domain

국문 초록 (Abstract)

이 연구는 디지털 리터러시의 인지적 영역 평가도구 개발을 위한 기초 연구로서, 평가도구의 개발을 위한 이론적 토대를 마련하는 데 주된 목적이 있다. 이를 위해 디지털 리터러시와 관련한 여러 문헌들을 먼저 검토한 뒤 디지털 리터러시의 개념을 `한 개인이 자신의 목적을 실현하기 위해 디지털 도구와 기술을 활용하여 텍스트를 탐색·이해·평가·적용하고, 새로운 텍스트를 창조하며, 사회 구성원들과 원활하게 소통할 수 있는 능력`으로 정의하였다. 이를 토대로 기존 평가도구가 디지털 리터러시를 얼마나 잘 평가하는지 검토하기 위해 8종의 기존 평가도구(CBAL, DIL, ePIRLS, ICILS, ORCA, PARCC, PISA DRA, SBA)를 평가틀의 측면, 평가 도구의 설계 및 문항 구성 방식의 측면을 중심으로 분석하였다.
분석 결과 기존 평가도구들이 디지털 리터러시의 제 측면을 제대로 평가하지 못하고 있으며, 특히 읽기 영역 평가에 치우치는 경향을 확인할 수 있었다. 평가 설계 및 문항 구성 방식은 평가도구별로 상이하였으며, 여러 측면에서 참조할 만한 요소들을 발견할 수 있었다. 각 평가도구의 장단점에 대한 분석을 토대로 디지털 리터러시 평가도구의 개선 방향으로서 시나리오 기반 평가와 근거 중심 평가 설계에 대해 제안하였다.

다국어 초록 (Multilingual Abstract)

As a preliminary exploration, this study aims to build a theoretical grounding for the development of digital literacy assessment that is particularly focused on cognitive domain. First, a comprehensive review of literature of the digital literacy was conducted to provide a theoretical lens to conceptualize digital literacy: individuals` ability to search, understand, evaluate, utilize, and create text and communicate with others by using digital tools and technologies to achieve one`s goal. Next, eight digital literacy assessments (CBAL, DIL, ePIRLS, ICILS, ORCA, PISA DRA, PARCC, SBA) were reviewed in terms of their assessment framework, design, and structure. As a result, it was found that each assessment partially measured digital literacy but failed to adequately capture the whole domain of digital literacy. Strengths and weaknesses of each assessment were also identified, analyzed, and compared. The study suggests scenario-based assessment and evidence-centered design as a useful framework for the development of digital literacy assessment.

참고문헌 (Reference)

• 1 옥현진, "디지털 텍스트 읽기 능력과 디지털 텍스트 읽기 평가에 대한 일고찰" 한국국어교육학회 (94) : 83-108, 2013
• 2 박혜영, "디지털 시대, 차세대 쓰기 평가의 국제 동향 분석 - 미국의PARCC, SBAC를 중심으로" 2016
• 3 박혜영, "디지털 시대, 쓰기 평가의 특징 분석 - 미국 ‘학력평가 2.0’의 쓰기 영역을 중심으로 -" 한국어교육학회 (154) : 199-227, 2016
• 4 정현선, "디지털 리터러시의 국어교육적 고찰" 국어교육학회 (21) : 5-42, 2004
• 5 박인기, "독서 환경의 변화와 고전" 한국독서학회 (19) : 9-38, 2008
• 6 김수진, "국제 컴퓨터 정보소양 연구: ICILS 2013 결과 보고서" 한국교육과정평가원 2014
• 7 상경아, "국제 컴퓨터 정보 소양 연구: ICILS 2018 평가 체제 구축" 한국교육과정평가원 2016
• 8 김수진, "국제 컴퓨터 정보 소양 연구: ICILS 2013 예비검사 시행보고서" 한국교육과정평가원 2012
• 9 Mislevy, R. J., "Validity by design" 36 (36): 463-469, 2007
• 10 Leu, D. J., "Theoretical models and processes of reading" IRA 1150-1181, 2013
• 11 Leu, D. J. Jr., "Theoretical Models and Processes of Reading" IRA 1568-1611, 2004
• 12 Kaestle, C. F., "The History of Literacy and the History of Readers" 12 (12): 11-53, 1985
• 13 European Union, "The European digital competence framework for citizens. Luxembourg: Publications Office of the European Union"
• 14 White, S., "Reading-related literacy activities of American adults : Time spent, task types, and cognitive skills used" 42 (42): 276-307, 2010
• 15 O'Reilly, T., "Reading for understanding: How performance moderators and scenarios impact assessment design" 2013
• 16 OECD, "PISA 2018 Draft analytical frameworks. Measuring student knowledge and skills"
• 17 Mullis, V. S., "PIRLS 2016 assessment framework" IEA. National Governors Association Center for Best Practices & Council of Chief State 2015
• 18 Ong, W., "Orality and literacy" Routledge 1982
• 19 구자옥, "OECD 국제 학업성취도 평가 연구: PISA 2018 예비 검사 시행 기반 구축" 한국교육과정평가원 2016
• 20 Messick, S., "Meaning and values in test validation: The science and ethics of assessment" 18 (18): 5-11, 1989
• 21 Kress, G. R., "Literacy in the new media age" Psychology Press 2003
• 22 Pellegrino, J. W., "Knowing what students know:The science and design of educational assessment" National Academies Press 2001
• 23 Deane, P., "Key Practices in the English Language Arts (ELA): Linking Learning Theory, Assessment, and Instruction" 2015
• 24 Landow, G. P., "Hypertext 3.0: Critical theory and new media in an era of globalization" John Hopkins University Press 2006
• 25 Bransford, John D., "How people learn: Brain, mind, experience and school" National Academy Press 2000
• 26 Mislevy, R. J., "Focus article : On the structure of educational assessments" 1 (1): 3-62, 2003
• 27 Smarter Balanced Assessment Consortium, "End of grant report" Smarter Balanced Assessment Consortium 2015
• 28 American Library Association, "Digital literacy, libraries, and public policy: Report of the office for information technology policy’s digital literacy task force" American Library Association 2013
• 29 Cornell University, "Digital literacy is"
• 30 Gilster, P., "Digital literacy" Wiley Computer Publisher 1997
• 31 British Columbia Department of Education, "Digital literacy"
• 32 Reedy, K., "Digital and information literacy framework" Open University 2012
• 33 Jones-Kavalier, B. R., "Connecting the digital dots : Literacy of the 21st century" 35 (35): 13-16, 2006
• 34 School Officers, "Common Core State Standards for English Language Arts & Literacy history/social studies & science and technical subjects"
• 35 Bennett, R. E., "CBAL: Results from piloting innovative K–12 assessments" ETS 2011
• 36 조지민, "2011년 국제 학업성취도 평가 연구 (PISA/TIMSS): PISA 2009 결과에 기반한 읽기 영역 성취 특성 비교" 한국교육과정평가원 2011