메타분석의 내적타당성 확보를 위한 1차 연구의 질 평가에 대한 고찰

Exploring the Quality Assessment of Primary Research for Ensuring the Internal Validity of Meta-Analysis

연구목적: 이 연구는 2001년부터 2023년까지 출판된 교육학 분야 메타분석 708편을 대상으로 메타분석의 내적타당성을 확보하기 위한 1차 연구의 질 평가 실태를 분석하는 데 그 목적이 있다. 연구방법: 2001년 이후 KCI에 발표된 국내 교육학 관련 메타분석 논문 708편을 분석 대상으로 선정하여, 이 중 1차 연구에 대한 질 평가를 실시한 80편을 선별하고 연도별, 세부 주제별, 질 평가 도구별로 나누어 분석하였다. 아울러 대표적인 1차 연구 질 평가 도구인 RoB2와 ROBINS-I의 질 평가 사례도 보고하였다. 연구결과: 연구 결과는 다음과 같다. 첫째, 메타분석에서 1차 연구의 질 평가를 보고하는 비율은 꾸준히 상승하고 있으나 최근 3년간(2021~2023년) 16.2%로 전체 비율은 높지 않았다. 둘째, 주제별로 분석했을 때 특수교육 분야에서 상대적으로 1차 연구 질 평가 보고 비율이 높았다. 셋째, 질 평가 결과가 기준에 부합하지 않음에도 분석 대상에서 제외한 경우는 1편에 불과하여, 질 평가 결과를 적극적으로 반영하려는 노력이 부족하였다. 논의 및 결론: 교육학에서 메타분석 연구는 확고하게 자리매김하고 있지만 투입될 1차 연구의 품질을 평가하려는 노력이 여전히 부족한 실정에서, 질 평가의 중요성을 강조하고 나아가 샘플 데이터를 사용하여 평가 결과를 보고하는 사례를 제시하였다는 점에서 이 연구의 의의가 있다.

Purpose: This study aims to analyze the status of primary research quality assessments in educational meta-analysis, focusing on 708 meta-analyses published in the field of education from 2001 to 2023. Method: We selected and analyzed 708 meta-analysis papers related to education that were published in the KCI after 2001. Among them, we singled out 80 papers that conducted quality assessments of the primary studies, analyzing them according to year, specific topic, and type of quality assessment tool. In addition, we reported quality assessment cases using the representative quality assessment tools for primary studies, RoB2, and ROBINS-I. Results: Firstly, the reporting rate of primary research quality assessment in meta-analysis has been steadily increasing, yet the overall rate remains low, accounting for just 16.2% over the past three years (2021-2023). Secondly, when analyzed by topic, the field of special education showed a relatively higher rate of reporting for primary research quality assessments. Thirdly, there was only one case where a study was excluded from the analysis due to its quality assessment results not meeting the criteria, indicating a lack of efforts to actively reflect the results of quality assessments. Over 60 meta-analysis papers in the field of domestic education have been consistently published annually since 2018. Despite the solid presence of meta-analysis research in education, there is still a lack of efforts to assess the quality of the primary research to be incorporated. Conclusion: The significance of this study lies in emphasizing the importance of quality assessments, and presenting cases of reporting assessment results using sample data in a situation where such efforts are still lacking.