QR분해를 사용한 RHadoop의 맵리듀스 기반 다중선형회귀모형 추정 알고리즘

RHadoop-based Algorithm Utilizing QR Factorization for Multiple Linear Regression Analysis

하둡은 대용량 자료의 분산 저장 및 병렬 처리 작업을 지원하는 자바 기반 오픈 소스 소프트웨어 플랫폼이다. RHadoop은 R 프로그래밍 환경에서 하둡의 핵심 프로젝트인 HDFS와 맵리듀스에 접속할 수 있는 인터페이스를 제공하여 R 사용자들에게 대용량 자료 분석에 효율적인 분산컴퓨팅 환경을 지원한다. 본고에서는 변수의 수에 비해 자료의 수가 훨씬 더 많은 대용량 자료에 QR분해를 사용하여 다중선형회귀모형을 추정하는데 사용할 수 있는 RHadoop 기반 맵리듀스프로그래밍 모델을 제안한다. 본 연구에서 제안하는 알고리즘은 Benson, Gleich, Demmel(2013)이 제안한 DirectQR 방법을 활용하되 대용량 자료를 사용하여 반복 연산하는 과정 없이 맵리듀스단일 과정을 통해 모형을 추정하며, 컴바인 단계를 통해 맵 단계의 중간 결과물을 취합하여 네트워크를 통해 리듀스 단계로 전송할 중간 결과물의 양을 축소시킨다. 본 연구에서 제안하는 알고리즘의 성능을 측정하기 위해 이전 연구를 통해 제안된 알고리즘과 비교 평가하는 모의실험을 수행한다. 실제 자료와 유사한 모의자료를 생성하기 위해 뉴욕 도시 택시·리무진 위원회에 보고되는 뉴욕 엘로우 택시 운행 자료를 활용하며, 변수 간의 상관관계 및 오차항에 대한 여러 가정하에서 각 알고리즘의 모수 추정 속도와 정확도를 평가한다.

RHadoop enables R users to perform big data analytics under R programming environment by integrating R with Hadoop that supports distributed storing and parallel processing of large-scaled data. This article proposes a RHadoop-based MapReduce programming model for estimating multiple linear regression models utilizing QR factorization. Our proposed algorithm accommodates the most common type of big data that has a vast number of data points with only a few hundred variables. For QR factorization over massive-scaled data, our algorithm employs DirectQR method proposed by Benson, Gleich, Demmel(2013); however, it does not necessitate its iterative steps to estimate regression coefficients. Through a comparative simulation study, our algorithm is compared with a MapReduce-based algorithm proposed in the previous studies. For generating realistic synthetic data, we utilize NYC(New York City) yellow taxi trip data reported to NYC Taxi and Limousine Commission. In the simulation, we measure estimation time and accuracy of each algorithm under several assumptions with respect to the strength of association between independent variables and the noise level of error terms in the regression models.