대형언어모델(LLM)의 역사지리 지식과 AI 역사지도 제작 가능성의 모색

Exploring the Historical Geographic Knowledge of Large Language Models (LLMs) and the Potential for AI Historical Maps

본 연구의 목적은 현시점에서 대형언어모델(LLM)의 역사지리 지식 현황을분석하고, LLM의 역사지리 지식을 활용한 AI 역사지도 제작이 가능한가를모색하는 것이다. 이를 위해 첫째, 국내외 주요 LLM 기반 GPT 서비스인OpenAPI의 ChatGPT, 구글의 Gemini, 네이버의 클로바X를 대상으로 점, 선, 면 지리 사상별로 역사지리적 질의에 대한 답변을 분석하고 오류 원인을추정하였다. 둘째, AI 역사지도 제작의 가능성을 살펴보기 위해 시험적으로조선시대 경기도 읍치(邑治) 지도를 제작하였다. 이후 군현별로 LLM이 제시한 읍치의 현 위치 정보와 역사 GIS로 복원된 읍치의 결과를 비교하였다. 결과, LLM은 제한적이지만, 한국의 역사지리정보와 관련된 질의가 가능하다는점을 확인했다. 하지만 다양한 오류도 발견되었는데, 이에 대한 주요 원인은첫째, 지리정보의 속성은 텍스트만으로 서술되기 어렵고, 둘째, 여러 시층(時 層)으로 구성된 역사지리정보를 다루는데 시기적으로 연결되는 동일 지리 사상을 연결하지 못하며, 셋째, 공개된 역사지리정보 서술의 양적, 질적 부족함을 들 수 있다. 이를 개선하기 위해 꾸준한 역사 GIS(HGIS) 레이어의 구축과 공개, 그리고 역사지리 시맨틱 데이터를 통한 LLM 모델의 지식 확장을 제안한다.

The purpose of this study is to analyze the current state of historical geographic knowledge of Large Language Model (LLM) and to explore whether it is possible to create AI historical maps using LLM historical geographic knowledge. First, I analyzed the answers to historical geographic queries by point, line, and area geometry type for OpenAPI's ChatGPT, Google's Gemini, and Naver's ClovaX, which are major LLM-based GPT services, and estimated the causes of errors. Second, to explore the possibility of AI historical mapping, I created a map of Eupchi(邑治, administrative center) in Gyeonggi-do during the Joseon Dynasty. Then, I compared the current location information of the Eupchi provided by LLM with the results of the Eupchi restored by historical GIS for each county. The results showed that LLM is capable of answering a limited number of queries related to historical geographic information in Korea. However, various errors were found, the main reasons for which are, first, that the characteristics of geographic data are difficult to describe in text alone, and second, that the current LLM technology has limitations in handling historical geographic information consisting of multiple time layers, and third, there is a lack of publicly available historical geographic information. To improve these issues, I propose the construction of historical GIS (HGIS) layers on an ongoing basis and the knowledge expansion of LLM models through semantic data of historical geography.