오픈소스 기반 데이터 스크래핑 탐지 시스템 설계 및 구현

Design and Implementation of Data Scraping Detection System based on Open Source

데이터는 4차산업 혁명과 디지털 전환의 핵심 요소이다. 그러나 불법적으로 웹스크래핑을 통해 수집한 데이터는 소유자와 수집자간의 분쟁을 일으키고 있다. 데이터 소유자의 권리를 보호하기 위해 오픈소스를 기반으로 웹스크래핑을 탐지하는 시스템을 디자인하고 구현하였다. 선형회귀를 스크래핑 탐지 모델에 사용하였으며, 입력값으로 스크래핑을 시도하는 전후 시간 간격을 사용하였다. 반복적인 패턴은 선형회귀에서 일직선의 형태를 띄며 입력값이 많을수록 기울기는 0에 수렴하게 된다. 또한 선형회귀는 랜덤한 조회시간 간격의 범위를 쉽게 파악할 수 있다. 분석시스템은 DBMS간 실시간 데이터 동기화 기술을 사용한다. 이는 웹서버와 분석서버를 분리하여 부하를 분산시킨다. 데이터 분석 및 시각화 구현을 위해 R과 Shiny 패키지를 사용하는데, 이는 복잡한 분석 기능을 쉽게 제공하고 반응형 웹 대시보드를 제공한다.

Data is very important factor of the 4th industrial revolution and digital transformation. However, data illegally collected through Web-scraping creates disputes between data owners and scrapers. In order to protect the rights of data owners, I study methods to detect malicious Web-scraping, and design and implement open source based data scraping detection system. Linear regression is used as a scraping detection model. As an input value, time interval records of scraping attempt between before and after are used. A repetitive pattern takes the form of a straight line which is linear regression, and as the number of inputs increases, the slope converges to zero. Additionally linear regression makes it easy to infer the range of randomly query time intervals. The analysis system uses the current data capture technology which synchronizes data by transmitting data to heterogeneous DBMS in real time. This has the effect of distributing the load by separating the Web server and analysis server. R and Shiny package is used for data analysis and visualization, It supports analysis packages that implement complex functions simply and develop responsive web dashboards quickly without much knowledge of the Web development.