PISA 표집 설계에 따른 모수 및 분산 추정

Population inferences and variance estimation based on PISA sampling designs

본 연구는 PISA 층화 표집 설계, 설문 가중치, 다섯 가지 유의 측정값을 활용한 통계 분석, 표집 분산과 측정 오차 분산을 반영한 표준 오차 산출을 위한 이론을 검토하고, 통계 모형을 적용한 실제 자료 분석을 통해 PISA 자료에 대한 올바른 이해와 적용을 돕고자 하였다. 분석 결과, 설문 가중치 적용 여부에 따라 일부 변인의 회귀 계수와 승산비에 비교적 큰 차이를 보였으며, 하나의 유의 측정값을 임의로 선정하여 분석한 경우 일부 모수 추정치의 크기뿐만 아니라 통계적 유의성에 차이가 발생하였다. 5개의 유의 측정값을 활용하여 표집 분산과 측정 오차 분산을 반영하여 분석한 결과, 층화 표집을 위해 사용된 외층 변인을 제외하고, 모든 예측 변인의 표준 오차가 커졌으며, 일부 변인은 더 이상 통계적으로 유의미하지 않게 되었다.

This study overviews a stratified sampling design of PISA, the use of replicative weights, and the analysis strategies with plausible values taking into account the sampling variance and the measurement error variance in standard error estimation. For illustrative purposes, the study investigated education-contextual variables differentiating a group of students achieving the below-basic proficiency level from other students in PISA 2009 reading. The study results can be summarized as follows. First, the survey weights resulted in substantially different regression coefficients and/or changes in statistical significance for certain variables. Secondly, the analysis results were slightly different depending on which plausible values were used, and different statistical inference could be made on certain predictors. More importantly, when estimation was based on five plausible values in consideration of the sampling variance and measurement error variance, the standard errors of most variables increased, except the variables that were used for explicit stratification, and the results of the statistical significance were changed for certain variables.