공간 HBase : 공간 빅 데이터를 위한 HBase 확장 = Spatial HBase : An Extension of HBase for Spatial Big Data

국문 초록 (Abstract)

최근에 용량이 크고 다양한 속성을 가진 공간 데이터는 빅 데이터의 일부분으로 취급받고 있으며, 이러한 공간 빅 데이터는 중요한 연구 분야로 급부상하고 있다. 그러나, 기존의 연구들은 대부분 NoSQL이 아닌 분산 파일 시스템을 이용하여 공간 빅 데이터를 처리하고 있기 때문에 빈번한 데이터 삽입과 갱신이 발생하는 환경에서 처리 비용이 증가하는 단점이 있다. 따라서, 본 논문에서는 최근 가장 많이 활용되고 있는 NoSQL인 하둡의 HBase를 확장하여 공간 HBase를 개발하였다. 공간 HBase는 빈번한 데이터 삽입과 갱신시 처리 비용이 적은 기존 HBase의 장점을 그대로 사용하고 있으며 OGC의 공간 데이터 타입과 공간 연산자를 지원한다. 그리고 공간 HBase는 위치 기반으로 공간 데이터를 클러스터링하여 저장하고 공간 데이터 검색시에는 공간 인덱스를 이용하여 분산 처리하기 때문에 효율적으로 공간 질의 처리를 수행할 수 있다. 마지막으로, Oracle Spatial Cluster와 비교 성능 평가를 수행하여 본 논문에서 개발한 공간 HBase의 우수성을 검증하였다.

다국어 초록 (Multilingual Abstract)

Recently, spatial data with large capacity and various properties is treated as a part of Big Data, and this spatial big data is emerging as an important field of studies. However, since existing studies to process spatial big data are mostly based on the distributed file system, rather than on NoSQL, there is a disadvantage of increasing the processing cost in an environment with frequent data inserting and updating. Thus, this paper has developed Spatial HBase based on HBase of Hadoop which is NoSQL that is the most widely used in recent years. Spatial HBase has the advantage of the basic HBase that carries low processing cost to frequent data inserting and updating. In addition, it supports spatial data types and spatial operations in OGC. Also, Spatial HBase can perform spatial query processing efficiently because spatial data can be stored with the location-based clustering and at the time of searching for spatial data, distributed processing using a spatial index is conducted. Finally, the superiority of Spatial HBase was proved by performing a comparative performance evaluation between Spatial HBase and Oracle Spatial Cluster.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 공간 HBase 설계
• 4. 공간 HBase 구현
• 5. 성능 평가
• 6. 결론
• References

참고문헌 (Reference)

• 1 Y. Zhong, "Towards Parallel Spatial Query Processing for Big Spatial Data" 2085-2094, 2012
• 2 Open Geospatial Consortium, Inc, "The OpenGIS Abstract Specification Topic 5: Features, Version 5.0"
• 3 D. Borthakur, "The Hadoop Distributed File System: Architecture and Design"
• 4 K. Shvachko, "The Hadoop Distributed File System" 1-10, 2010
• 5 S. Shekhar, "Spatial Big-data Challenges Intersecting Mobility and Cloud Computing" 1-6, 2012
• 6 S. Zhang, "Sjmr: Parallelizing Apatial Join with Mapreduce on Clusters" 1-8, 2009
• 7 Y. Wang, "Research and Implementation on Spatial Data Storage and Operation Based on Hadoop Platform" 2 : 275-278, 2010
• 8 P. Padhy, "RDBMS to NoSQL: Reviewing Some Next-Generation Non- Relational Database‘s" 11 (11): 15-30, 2011
• 9 R.A. Finkel, "Quad Trees a Data Structure for Retrieval on Composite Keys" 4 (4): 1-9, 1973
• 10 Open Geospatial Consortium, Inc, "OpenGIS Implementation Specification for Geographic Information- Simple Feature Access-Part 2:SQL Option, Version 1.2.1"
• 11 J. Dean, "Mapreduce: Simplified Data Processing on Large Clusters" 51 : 107-113, 2008
• 12 J. Dean, "MapReduce: Simplified Data Processing on Large Clusters" 137-150, 2004
• 13 F. Wang, "Hadoop-gis: a High Performance Query System for Analytical Medical Imaging with Mapreduce" Emory University 2011
• 14 L. George, "HBase The Definitive Guide" O`Reilly Media 2011
• 15 A. Lakshman, "Cassandra: a Decentralized Structured Storage System" 44 : 35-40, 2010