역전파 네트워크 학습을 활용한 웹 문서 구조 분석 시스템

Structure Analysis System from Web Documents through Backpropagation Network Learning

본 논문에서는 역전파 학습 네트워크를 구성하여 웹 문서의 구조를 학습한 후，이를 활용하여 새로운 웹 문서의 구조를 추론해 내는 시스템에 대하여 논한다. 시스템은 먼저 XPath에 ID를 부여하는 과정을 통해 웹 문서를 역전파 학습 네트워크의 입력값으로 변환한다. 역전파 학습 네트워크의 학습시스템은 정해진 에러율 이하의 값이 나올 때까지 반복하여 학습을 수행한다. 학습 후, 문서를 네트워크에 통과시키면 시스템은 웹 문서의 구조를 추론하고 그 구조에 적합한 정보를 추출해 낸다. 학습 과정에서 사람의 개입(intervention)이 전혀 없으며, 내부 팩터와 파라메터를 다양하게 변화시키면서 최적의 학습결과를 도출할 수 있도록 네트워크를 구성한 것이 학습시스템의 가장 큰 장점이라 할 수 있다. 구현한 시스템의 평가결과 평균 recall rate는 99.5%，precision rate는 96.6% 라는 만족 할만한 성과를 나타내었다.

The preseait study discusses a system that leams the structure of Web documents through a backpropagation network and mfers the structure of new Web documents. The system first converts Web documents into the input of the backpropagation network through assigning ID to Xpath. The learning system of the backpropagation network repeats learning until the error rate goes down below the level specified in the system. After learning, a new Web document is passed through the network, the system infers the structure of the document and extracts information suitable for the structure. Hie biggest advantages of this system are that there is no human intervention in the learning process and the network is designed to derive the optimal learning result by changing the internal factors and parameters in various ways. When the implemented system was evaluated, the average recall rate was 99.5% and the precision rate was 96.6%, suggesting the satisfactory perfcamance of the system.