학술대회자료
HDFS의 스몰 파일 관리 기술 동향
Trend of Small File Management Technologies of HDFS
- 한국IT서비스학회
- 한국IT서비스학회 학술대회 논문집
- 2014추계학술대회
-
2014.11180 - 183 (4 pages)
- 33
HDFS(Hadoop Distribute File System)는 오픈소스 프레임워크로 대표적인 빅 데이터 처리 분산 응용 프로그램이다. 대용량 데이터를 처리에 최적화되어 스몰 파일에 적용했을 때 높은 자원 소비효율과 낮은 성능을 보인다. 본 논문에서는 이러한 비효율성을 해결하기 위한 기법을 제시한다. 첫 번째로 HDFS와 독립적으로 작동하는 엔진을 통해 스몰 파일을 합 병하는 방법이다. HDFS 내부의 메모리 사용량을 줄임으로써 스몰 파일을 처리할 때 효율성이 증가한다. 두 번째로 구조화된 인덱스 파일 합병기법이다. 효율적인 접근과 파일 처리를 통해 응답 시간을 단축하고 메모리 사용이 감소한다. 제시된 기법을 통해 HDFS가 대용량 데이터뿐 아니라 스몰 데이터를 분산 저장 및 처리하는데 있어서 공간의 이용이 효과적 으로 이루어 질 것을 기대한다.
1. 서론
2. 본론
3. 결론
(0)
(0)