시험장 복제 (Duplication)가 객관적 구조적 임상 시험 (OSCE)의 신뢰도에 미치는 영향

The Effect of Using Two Duplicated Examination Sites to Simulate the Same Cases on the OSCE Reliability

연구배경: 의과 대학 한 학년 학생 수가 많으면 고사장을 2개 이상으로 복제하여 OSCE를 치르게된다. 동일한 증례에 대하여 여러 명의 SP를 활용할 때 시험의 신뢰도에는 변함이 없다는 외국의 연구는 많았지만 국내의 연구는 아직 없다. 이에 저자는 OSCE 고사장 복제가 시험의 신뢰도에 어떤 영향을 주는 지 알아보고자 본 연구를 시행하였다. 연구방법: OSCE는 21개의 문제 스테이션과 18개의 증례로 구성되었으며 2개의 휴식 스테이션을 포함하여 학생들은 총 23개 스테이션을 순환하도록 구성되었다. 일차의료에서 흔하게 접할 수 있는 문제를 출제하였고 한 스테이션 당 7분을 배정했고 이 중 6분 내지 6분 30초는 문제 중심 병력청취, 신체검사, 수기, 처치에 관한 문제를 해결하는 데 배당하고, 30초에서 1분은 피드백 시간으로 할애하였다. 두 고사장간 OSCE총점과 문제별 점수 차를 비교함으로써 복제에 의한 OSCE 신뢰도를 분석하였다. 시험 후 학생 및 교수에게 설문지를 통해 OSCE에 대한 반응을 측정하여 복제에 대한 주관적인 신뢰도 평가를 함께 분석하였다. 결과: 의학과 4학년 학생 91명 모두 OSCE에 참가하였다. 시험의 Cronbach α 표준화 상수는 0.67이었다. 스테이션별 점수와 OSCE 총점은 두 고사장 간에 통계적으로 유의한 차이를 보였다. 두 고사장 간 3학년까지의 성적에는 차이가 없었으나 OSCE총점 차이는 2.3점이었다 (p=0.03). 총 19개 스테이션 점수 중 각 고사장마다 6개 스테이션씩 한쪽 고사장에서 유리한 점수를 얻었다. 측정분야별로는 처치, 수기, 총평에서 양 고사장간에 차이가 있었다. OSCE 성적은 학부 성적과 높은 상관성을 보였다. 시험시간에 따른 조별 성적 차이는 없었다. 학생의 50%와 교수의 1/3은 복제의 신뢰도에 부정적인 반응을 보였다. 학생들은 14개 스테이션의 SP 연기의 현실감에 대하여 ‘좋았다‘ 이상의 긍정적인 반응을 보였다. 평가자간의 차이가 복제에 의한 신뢰도 저하를 결정하는 주 요인이었다. 결론: 철저한 사전 준비가 없는 시험장 복제는 OSCE의 신뢰도를 떨어뜨린다. OSCE에서 시험장을 복제하고 시험의 신뢰도를 유지하려면 SP의 연기차이뿐 아니라 평가자간 차이를 사전에 충분히 점검 보완해야 한다. 시험장 복제시 OSCE 시험성적을 해석하는데 주의를 요한다.

If large-scale testing programs are being used, OSCE stations may be duplicated into two or more sites. There are a few studies on the reliability of OSCE with duplicated stations in Korea. The purpose of this study was to investigate the effect of duplication on the reliability of OSCE. At Hanyang university college of medicine, an OSCE is given to all senior medical students(91 per class) upon completion of all clinical clerkship rotations. The examination consisted of twenty one stations and eighteen cases that represented commonly encountered problems in primary care. Each station required seven minutes for its administration, with 6 to 6.5 minutes for the student-SP or model encounter, during which the students performs a complete focused history and/or physical examination and/or procedure and/or management, and another 0.5 to 1 minutes for the evaluator to feedback case-related comments. We analysed the reliability of duplication by comparing total OSCE scores and case scores between two exam sites. We also evaluated the reliability of duplicated stations from student s and professor s subjective response to the OSCE. All 91 fourth-year students attended the OSCE. Standardized Cronbach coefficient of the OSCE was 0.67. The station scores and OSCE total scores were different between two duplication sites. The total OSCE score of one site was slight higher than that of the other site(p=0.03). Of total 19 stations in which students were evaluated by staff evaluator, six stations are more advantageous to one part compared with counterpart stations, other six stations are vice CONCLUSIONS: OSCE reliability can be affected by duplication of examination sites and inter-rater reliability is the most important determining factor. The results demonstrate a need for caution in the interpretation of scores obtained from OSCE with duplicated stations.