세 범주 예보모형에서 문턱값 결정을 위한 예측성 평가측도 선정 가이던스 개발

Guidance on Choice of Skill Score for Determination of Thresholds in Ternary Forecast

본 논문은 기상예보에서 많이 발생하는 세 범주 예보 생산을 위한 문턱값 결정에 있어 예측성 평가측도 선정 가이던스 개발을 목적으로 한다. 세 범주 확률을 생산하는 확률예보모형에서 일차 생산되는 범주확률값에 대하여 두 개 또는 세 개 문턱값을 고려하여 세 범주 예보를 생산하는 경우에 대하여 연구하였다. 관측치 형태, 예측확률 형태, 예보 정확도 형태로 이루어지는 예측패턴에 따라 어느 예측성 평가측도를 사용하여 최적 문턱값을 결정하는 것이 좋은 지에 대한 가이던스를 제공하기 위하여 몬테-카를로 모의실험을 수행하였다. 2 종류의 관측치 형태, 3 종류의 예측확률 형태, 2 종류의 예보정확도 형태를 고려하여 총 12 예측패턴에 대하여 실험하였으며, 문턱값은 2 개인 경우와 3 개인 경우로 구분하였다. 예측성 평가측도는 가중치가 고려된 세 범주에 대한 Hit rate, True skill statistic, Heidke skill score를 적용하여 비교하였다.

This paper proposes a useful guidance on the choice of skill score for determination of thresholds in ternary forecast modeling. The categorical forecast is preferable to the probabilistic forecast when the probabilities cannot be used directly because of underestimation. In general some thresholds are needed to generate a categorical forecast. This guidance indicates the use of skill scores for the choice of threshold according to the given forecast pattern. Forecast pattern consists of distribution modes of estimated probabilities, occurrence rates of observations, and variation modes. This study is performed via Monte-Carlo simulation. For our study 12 forecast patterns and two algorithms for generating categorical forecast are considered. Estimated probabilities are generated by random variate sampling from three distributions separately. Varying threshold from 0 to 1, ternary forecasts are generated by two or three thresholds. For the assessment of ternary forecast models, 3x3 contingency table is used and three skill scores (Heidke skill score, hit rate and true skill statistic) are compared for each forecast pattern.