언어적 의사소통과 멀티모달 대화분석

Language Communication and Multimodal Conversation Analysis

‘언어표현의 일치원리’에 의하면 일반적으로 언어 사용자는 자신의 언어(言), 생각(思), 감정(情), 모습(貌)에 있어서 일관된(整一) 언어의 의미를 전달하지만, 보통 성인 언어에서는 4가지 요소가 일치되지 않는 ‘일치원리의 위반’이 적잖이 발생한다. 대화 참여자의 언어가 생각, 감정, 모습과 다르게 나타날 경우, 참여자의 언어 행위가 무엇인지를 분석하기 위해 언어자료의 가공이 필요하다. 顾曰国는 현장 담화의 참모습을 담아내기 위해 녹음된 음성, 녹화된 영상, 전사된 문자언어 자료 등으로 구성된 멀티모달 코퍼스의 구축을 제안한다. 또한 연구자는 멀티모달 방식으로 가공, 검색, 통계를 통해 관련 연구에 필요한 코퍼스를 별도로 구축할 수 있다. 본 연구는 현장 담화가 아닌 중국 드라마 속 대화를 분석하기 때문에 언어자료를 수집하는 과정에서 영상을 녹화하는 단계는 생략된다. 녹화된 영상에서 음성을 추출하고, 문자를 전사하고 주석을 표기하는 가공과정을 거친다. 참여자는 적어도 시각 모달리티와 청각 모달리티 등 쌍모달리티를 사용하며, 다른 의사소통 요소의 영향을 받아 언어 행위를 구현한다. 따라서 문자의 전사 과정에서는 문자언어의 내용을 영상 속의 소리 언어 및 신체 표현의 특징과 비교하고 정서적인 특징도 확인해야 한다. 본 연구는 서로 다른 소통 목적을 가진 참여자가 대화가 진행되는 동안 어떤 요소의 영향을 받으며 어떤 전략을 사용하여 어떤 결과에 이르는지 등 언어적 소통의 역동적인 과정을 살펴 본다.

According to the “principle of conformity of language expressions,” language users generally convey the meaning of language that is consistent in their language, thoughts, feelings, and appearances, but in ordinary adult language, there are many “violations of the principle of conformity” in which the four elements do not coincide. If the language of the conversation participant is different from the thoughts, feelings, and appearance, it is necessary to process the language data to analyze the participants’ verbal behavior. In order to capture the true state of the on-site discourse, 顾曰国 proposes the construction of a multimodal corpus composed of recorded voices, recorded videos, and transcribed written language materials. In addition, researchers can separately build the corpus required for related research through processing, search, and statistics in a multimodal way. Since this study analyzes dialogue in Chinese dramas, not on-site discourse, the step of recording videos is omitted in the process of collecting language data. It extracts the voice from the recorded video, transcribes the text, and annotates it. Participants use at least dual modalities, such as visual and auditory modalities, and implement language behavior under the influence of other communication factors. Therefore, in the transcription process of written language, the content of written language should be compared with the characteristics of sound language and body expression in the video, and emotional characteristics should also be checked. This study examines the dynamic process of verbal communication, such as how participants with different communication objectives are influenced by what factors are affected during the conversation and what strategies are used to achieve certain results.