프롬프트 리터러시 수준에 따른 LLM 기반 빗속의 사람(PITR) 그림검사 해석의 정확도 및 내용 완성도에 관한 탐색적 분석

An Exploratory Analysis of the Accuracy and Interpretive Quality of LLM-Based Interpretations of the Person-in-the-Rain (PITR) Drawing Test According to Prompt Literacy Levels

본 연구는 투사적 그림검사인 빗속의 사람(Person-in-the-Rain, PITR) 해석에서 대규모 언어모델(LLM)의 활용가능성과 프롬프트 리터러시 수준에 따른 해석 정확도 및 내용 완성도의 차이를 탐색하였다. 이를 위해 197명의대학생 PITR 자료와 PDI 응답을 바탕으로 GPT-4o를 활용하여 총 4단계(자유 해석, 저숙련 기준 제시, 고숙련프롬프트, PDI 반영 종합 해석)의 프롬프트 조건에 따라 해석 결과를 수집하고 분석하였다. 해석 정확도는 전문가 채점과의 Cohen’s Kappa 계수로, 내용 완성도는 7개 항목의 코딩 프레임을 통해 평가하였다. 분석 결과, 프롬프트 리터러시가 높을수록 해석의 정확도와 일치도가 향상되었으며, 고숙련 프롬프트 및 PDI 반영 조건에서는 전문가 수준에 근접한 해석이 가능하였다. 본 연구는 LLM의 임상 보조 도구로써의 활용 가능성과 프롬프트 설계 교육의 중요성을 제시하였으며, 이러한 연구 결과를 바탕으로 본 연구의 의의와 제한점에 대해 논의하였다.

This sutdy inquired the differences in interpretation accuracy and content completeness according to the level of prompt literacy of Person-in-the-Rain (PITR) as projective drawing test. To this end, based on PITR data and PDI responses from 197 college students, the study used GPT-4o to collect and analyze interpretation results according to four stages of prompt conditions (free interpretation, low-skilled standard presentation, high-skilled prompt, and comprehensive interpretation reflecting PDI). Interpretation accuracy was evaluated using the Cohen’s Kappa coefficient with expert scoring, and content completeness was evaluated using a coding frame of seven items. The analysis results showed that when the prompt literacy was high, showed more accurate and consistent interpretation, and the high-skilled prompt and PDI conditions enabled the interpretation of the expert level. This study suggested the possibility of using LLM as a clinical assistance tool and the importance of prompt design education, and discussed the significance and limitations based on these research results.