시나리오 기법을 활용한 고등학생용 AI 역량 척도 개발 및 타당화

Development and Validation of the AI Competency Scale for High School Students Using Scenario Method

이 연구는 시나리오 기법을 활용하여 고등학생의 AI 역량을 측정하기 위한 도구를 개발하고 타당화하기 위한 것이다. 이를 위해 관련 선행연구를 검토 및 분석하여 고등학생에게 필요한 AI 역량의 하위영역을 ‘AI 기초이해’, ‘AI 활용 문제해결 능력, ‘AI 활용 연구･개발 능력’, ‘AI 활용 평가 능력’, ‘AI 윤리’로 설정하였고, 각 하위영역별로 3가지의 하위요소를 구성하였다. 고등학생용 AI 역량 측정도구 초안은 각 하위요소별 15개 시나리오와 각 시나리오별 3개 문항, 총 45개 문항으로 개발하였으며, 고등학생 7명을 대상으로 한 초점집단 인터뷰를 통해 1차 수정･보완하였다. 나아가 전문가 10명을 대상으로 시행한 서면평가를 통해 내용타당도 등을 검토하여 2차 수정･보완하였다. 2차로 수정･보완한 측정도구를 활용해 A 고등학교 재학생 221명을 대상으로 검사를 실시하였고 확인적 요인분석의 요인부하량과 내용타당도 점검 결과 등을 종합적으로 고려해 최종 측정도구(총 15개 시나리오, 30문항)를 완성하였다. 완성된 고등학생용 AI 역량 측정도구의 확인적 요인분석 결과와 신뢰도 등을 점검한 결과, 타당도와 신뢰도가 모두 양호한 것으로 나타났다.

This study aimed to develop and validate a measurement tool for assessing AI competencies for high school students using the scenario method. To this end, based on a comprehensive literature review, this study constructed five sub-domains of AI competencies: basic understanding of AI, AI-based problem-solving, AI-based research and development, AI-based evaluation, and AI ethics, and it also constructed three sub-elements for each sub-domain. The preliminary version of the AI competency measurement tool was developed with three scenarios for each sub-domain and three items for each scenario (a total of 15 scenarios and 45 items), which were revised and improved based on both a focus group interview with seven high school students and a review of content validity by ten experts in the field. Subsequently, a pilot test using a preliminary version of the tool was conducted with 221 high school students. Using the data, this study conducted confirmatory factor analysis and reliability analysis. Consequently, the finalized AI competency measurement tool for high school students (a total of 15 scenarios and 30 items) was good in terms of construct validity and reliability.