COHEN의 합치도의 두 가지 역설을 해결하기 위한 새로운 합치도의 제안

A New Measure of Agreement to Resolve the Two Paradoxes of Cohen's Kappa

두 평정자가 있는 이차원 분류표에서 우연에 의한 합치 비율을 보정한 Cohen의 합치도($\kappa$)는 문제점이 있는 측도로 알려져 있다. $\kappa$는 평정자의 분류 비율(주변확률)에 매우 민감하고, 합치도로서의 조건도 만족하지 못한다. 그러나 $\kappa$를 비롯한 기존 합치도들은 주변확률이 0.5에 가까울 때 안정되며 비슷한 값을 갖는다. 본 연구에서는 이차원 분류표의 불균형적 주변분포를 보정함으로써 $\kappa$의 역설을 해결하는 새로운 합치도 H를 제안한다. 또한 예제를 통해 기존의 합치도들과 제안된 합치도를 비교한다.

In a $2\times2$ table showing binary agreement between two raters, it is known that Cohen's $\kappa$, a chance-corrected measure of agreement, has two paradoxes. $\kappa$ is substantially sensitive to raters' classification probabilities(marginal probabilities) and does not satisfy conditions as a chance-corrected measure of agreement. However, $\kappa$ and other established measures have a reasonable and similar value when each marginal distribution is close to 0.5. The objectives of this paper are to present a new measure of agreement, H, which resolves paradoxes of $\kappa$ by adjusting unbalanced marginal distributions and to compare the proposed measure with established measures through some examples.