위계적 선형모형을 활용한 대학생 강의평가 관련 요인 탐색 : 무성의 응답의 영향을 중심으로

Multilevel Analysis of the Effects of Student and Course Characteristics on Student Evaluations of University Teaching

최근 대학생 강의평가에서 모든 문항에 똑같은 번호를 체크하는 무성의한 응답 문제가 심각하게 제기되고 있다. 우리나라 거의 모든 대학들에서 강의평가는 교수의 질을 보장하고 개선하고자 하는 목적으로 활용되고 있으나 무성의 응답 비율이 높아질수록 강의평가 결과의 타당도가 위협받고 이에 따라 결과 활용 역시 제한된다. 본 연구에서는 강의평가 자료의 다층 구조를 반영하여 대학생 강의평가 결과에 영향을 미치는 학생 및 수업 수준의 변인들을 고려한 상태에서 무성의 응답이 실제로 강의평가 총점에 영향을 주는지를 분석하였다. 그 결과, 해당 수업에 대한 학생의 무성의한 응답은 학생의 성별, 학년, 전공, 성취도, 공부시간, 수업난이도, 수강환경, 그리고 교수 연령과 더불어 강의평가 점수에 통계적으로 유의한 정적 영향을 미치는 요인으로 확인되었다. 특히 무성의한 응답은 학생수준에서 강의평가 총점을 유의하게 높이는 요인으로 나타나 합리적인 강의평가 결과 활용을 위해서는 이를 줄이기 위한 학문적‧행정적 관심이 요구된다.

Nearly every Korean post-secondary institution employs mandatory student evaluations of teaching (SETs) to assure and improve the quality of teaching in classes. In these days, however, Korean colleges and universities suffer from high rate of student insincere response which means students mark the same option number to all set of questions. The higher rate of insincere response appears, the lower validity of the result of SETs is to be unavoidable. To increase understanding the effects of student insincere response on SETs, this study examined 11,203 SETs cases from general education courses at S University located in Seoul. The hierarchical linear model (HLM) was used to analyze the multilevel data, which includes student-level data such as student characteristics(sex, academic year, major, achievement), class experiences(study hours, student perception of course difficulty, physical classroom environment), and insincere response as well as course-level data comprising faculty characteristics(sex, status, age) and course characteristics(type, size). The results empirically showed that student insincere response had positive influence on the score of SETs after controlling for the effects of all the student- and course-level variables. It provides new perspectives about the administration of current course evaluation system on the one hand, and the interpretation of the SETs results on the other hand.