문항 분석을 통한 종합적 사고역량 진단도구의 타당화 연구

A Validation Study of the Higher-order Thinking Competency Diagnostic Tool through Item Analysis

본 연구의 목적은 대학생의 종합적 사고역량 진단도구의 문항 분석을 통해 진단도구의 타당화를 검증하여 교수학습 지원에 합리적이고 타당한 근거로 활용되도록 하기 위함이다. 이를 위하여 A대학교의 자연공학계열 261명의 종합적 사고역량 진단의 응답결과를 최종분석데이터로 활용하였다. 연구결과 첫째, 기본통계분석을 통해 모형적합도가 적절한 것을 확인하였다. 둘째, 고전검사이론과 2모수 모형의 문항반응이론으로 문항 특성 정보를 파악하였으며, 난이도와 변별도 측면에서 타당도를 확보하였다. 셋째, 전체적인 문항분석 결과, 종합적 사고역량 진단문항은 초기 문항개발 시 설정된 난이도에 부합하였다. 즉, 20개 문항으로 구성된 종합적 사고역량 진단 문항은 CTT 및 IRT 분석결과에 의해 난이도 및 변별도 측면에서 큰 이슈 없이 타당도를 확보한 문항으로 구성되었음을 확인할 수 있었다. 이같이 학생들의 역량을 진단하기 위해서는 객관적이고 타당도가 확보된 진단도구를 개발하여 학습자들의 기초학습역량 향상을 위한 비교과 교육지원에 합리적이고 타당한 근거로 활용할 수 있어야 한다. 본 연구는 기본 통계분석에 불과하거나 자기보고식 문항을 개발한 선행연구들과는 달리, 고차원적인 문항 분석 및 객관적 문항으로 종합적 사고역량 진단도구를 개발하고 타당도를 검증하였다는 데 의의가 있다. 이러한 역량진단 도구의 결과는 비교과 교육 지원체계를 마련하고 적용해나가기 위한 중요한 기초자료로 활용될 것으로 기대한다.

The purpose of this study is to validate a diagnostic tool for assessing university students' Higher-order thinking competency through item analysis and to provide rational and valid evidence for its application in teaching and learning support. The final analysis was conducted using responses from 261 students in the natural sciences and engineering disciplines at A University. The results are as follows: First, basic statistical analyses confirmed that the model fit was appropriate. Second, item characteristics were examined using Classical Test Theory(CTT) and the Two-Parameter Item Response Theory(2-PL IRT), ensuring validity in terms of difficulty and discrimination. Third, the overall item analysis indicated that the Higher-order thinking competency diagnostic items aligned with the levels of difficulty established during the initial development phase. To effectively diagnose students' competencies, it is essential to develop diagnostic tools that are objective and valid, which can serve as a rational basis for non-curricular educational support aimed at enhancing foundational learning competencies. Unlike previous studies that were limited to basic statistical analysis or the development of self-reported items, this study is significant in developing and validating a high-level, objective diagnostic tool for Higher-order thinking competency. The findings of this competency diagnostic tool are expected to serve as fundamental data for establishing and implementing non-curricular educational support systems.