A Brief Comparison Between BILOG and LOGIST

이 논문은 BILOG와 LOGIST의 최근 판에 대한 정보를 두 프로그램을 사용하는 연구자의 입장에서 간단히 요약한 것이다. 먼저 문항반응이론에 기초한 문항 분석을 위한 이 두 프로그램에서 사용된 모수 추정 방법의 배경이 된 통계적 접근법을 프로그램에서 새롭게 변형된 절차와 연계하여 살펴보았다. 두 프로그램에 사용된 모수 추정 과정은 실제 자료와 가상의 자료를 통해 비교 분석되었다. 여기서 실제 자료는 영어 배치 고사 자료로서 116개의 선다형 문항을 3,657명의 피험자가 답을 한 것으로 대규모의 시험 자료로 볼 수 있다. 두 프로그램이 3 모수 모형에서 서로 비슷한 문항 모수와 능력 모수 추정 결과를 실제 자료를 분석할 때 제공하였다. 가상적인 자료는 두 가지인데 하나는 15개의 선다형 문항을 1,500명의 피험자가 답을 한 것이고, 또 다른 하나는 45개의 선다형 문항 을 1,500명이 답을 한 것이다. 가상 자료에서는 3 모수 모형을 통한 프로그램의 추정 결과를 통계 추정의 잔류치를 사용하여 비교하였다. 문항 모수와 능력 모수 추정의 잔류치는 두 프로그램이 조금 다른 결과를 보였다. 더불어서 두 프로그램과 그 사용 방법을 설명한 서류가 얼마나 쓸 만한 것인지를 나타내는 사용 용이도를 문항반응이론 교과목을 수강하고 있는 대학원생이 평가한 결과도 보고하였다. BILOG가 LOGIST에 비해 쓰기가 편하다고 평가되었다.

This paper provides information on the current versions of BILOG and LOGIST based on the users' view points of the two programs. First, statistical approaches behind the estimation methods implemented in the two item response theory computer programs are presented in conjunction with the new and modified procedures. Comparisons of calibration results are presented using both real and simulated data. The real, large date set contained 3,657 examinees' responses to 116 multiple-choice items of a college English placement test. The calibration results of the English test data indicated that BILOG and LOGIST yielded comparable item and ability parameter estimates under the three -parameter model. Two simulated data sets were employed; one set contained responses from 1,500 examinees to a test with 15 items and the other set contained responses from 1,500 examinees to a test with 45 items. The residuals between the estimates from the calibration runs and the corresponding generating parameters under the three-parameter model were compared. The two programs yielded slightly different patterns of the residuals of the item and ability parameter estimates. In addition, ratings of usability of the programs and documentations by graduate students taking an item response theory course are reported. Most students preferred BILOG to LOGIST in terms of overall usability.* Portions of this paper were presented at the annual meeting of the American Educational Research Association, San Francisco, CA, 2006, under the title, “Consumer reports on BILOG and LOGIST.”