대화 분석을 통한 사회정서역량 측정 애플리케이션 개발 - ChatGPT API를 이용하여 -

Developing an Application Prototype for Social and Emotional Competence Measurement through Conversation Analysis - Using the ChatGPT API -

연구목적: 이 연구의 목적은 거대 언어 모델의 대표적 ChatGPT를 이용하여 대화 분석을 통한 사회정서역량 측정 애플리케이션의 가능성을 탐색하는 프로토타입을 개발하는 것이다. 연구 방법: 이 연구는 개발연구 방법론을 사용하였다. 애플리케이션은 ChatGPT API를 이용하여 개발하였으며, 애플리케이션 개발을 위해 클로바노트, Python, ChatGPT, Markdown, Streamlit, Plotly 등의 프로그램을 사용하였다. 어플리케이션의 타당화 방법으로 ChatGPT 분석 결과 간 그리고 전문가 분석 결과 간 일치도 분석을 위해 평정자 간 신뢰도 분석을 실시하였다. 연구결과: 애플리케이션은 클로바노트를 이용하여 자동적으로 대화를 녹취와 전사를 하여 분석을 위한 전처리를 실시 하였으며, 데이터를 업로드하면 참가자별 대화가 추출되고 문장별로 평정척도를 적용하여 분석이 이루어졌다. 그리고 결과제시는 참여자 별로 사회정서역량 점수와 분석 근거가 제시되고 오각형 점수를 통한 직관적 점수 이해가 가능하도록 하였다. 애플리케이션을 타당화하기 위하여 ChatGPT 결과간 그리고 전문가 분석 점수 간 내적 합치도를 분석하였고 높은 내적 합치도로 타당한 것으로 결과는 나타났다. 논의 및 결론: 이 연구는 ChatGPT API를 이용하여 대화 분석을 통한 사회정서역량 측정 가능성을 보여주었으며 또한 사회과학 분야에서 거대 언어 모델을 사용하여 사회과학적 문자 데이터을 분석하고 연구할 수 있는 가능성을 확인시켜 주었다는 차원에서 의미가 있다고 할 수 있다.

Purpose: The purpose of this study is to develop a prototype that explores the possibility of measuring social emotional competency through conversation analysis using ChatGPT, a representative macro language model. Method: This study used the development research methodology. The application was developed using the ChatGPT API, and programs such as Clovanote, Python, ChatGPT, Markdown, Streamlit, and Plotly were used for application development. ICC(intraclass correlation coefficients) was conducted to analyze the agreement between ChatGPT analysis results and expert analysis results as a validation method of the application. Results: The application automatically recorded and transcribed conversations using Clovanote to perform preprocessing for analysis. When the data was uploaded, conversations by participant were extracted and analysis was performed by applying a rating scale for each sentence. In addition, in the presentation of the results, the social-emotional competency score and the basis for analysis were presented for each participant, and it was possible to understand the intuitive score through the pentagon score. In order to justify the application, the internal agreement between the ChatGPT results and the expert analysis scores was analyzed, and the result was found to be valid with a high internal agreement. Conclusion: This study is meaningful in that it showed the possibility of measuring social emotional competency through conversation analysis using the ChatGPT API, and also confirmed the possibility of analyzing and studying social scientific text data using a large language model in the field of social science.