맵리듀스 기반 웨이블릿 히스토그램 생성 시스템의 설계 및 구현 = Design and Implementation of the Wavelet Histogram Construction System based on Mapreduce
저자
발행사항
서울 : 건국대학교 대학원, 2015
학위논문사항
학위논문(석사)-- 건국대학교 대학원 : 컴퓨터·정보통신공학과 컴퓨터공학전공 2015. 8
발행연도
2015
작성언어
한국어
주제어
발행국(도시)
서울
형태사항
58 ; 26 cm
일반주기명
지도교수: 한기준
소장기관
최근 스마트 폰, 웹/SNS의 발전으로 인하여 데이터 규모가 폭발적으로 증가하고 있으며, 이에 따라 빅 데이터의 중요성이 강조되고 있다. 빅 데이터는 방대한 양, 빠른 생성 속도, 그리고 다양한 속성을 가지고 있기 때문에 빅 데이터 자체보다 빅 데이터 요약 정보를 처리하는 것이 더 효율적이다.
데이터 요약 정보 생성 기법 중 하나인 웨이블릿은 멀티미디어 데이터에 대한 특징 추출 등에 적용하였다. 웨이블릿 히스토그램은 웨이블릿을 데이터베이스 시스템의 질의최적화와 개략 질의처리 등에도 사용되어 온 대표적인 정보 요약 기법인 히스토그램에 접목하여 생성한 요약 기법이다. 웨이블릿 히스토그램은 웨이블릿과 히스토그램의 장점을 합쳐 원본 데이터의 정보 손실이 크지 않은 최적의 데이터 요약 정보를 생성할 수 있다.
맵리듀스는 구글의 데이터 처리 플랫폼으로 사용되어 뛰어난 확장성 및 안정성으로 최근 다양한 분야에서 각광을 받고 있다. 따라서 맵리듀스 기반 빅 데이터 요약 정보를 생성하는 시스템에 대한 연구가 활발히 수행되고 있다.
기존 맵리듀스 기반 웨이블릿 히스토그램을 생성하는 연구에서는 한 번 이상의 맵리듀스 잡을 거쳐 각 노드에 저장된 부분 데이터에 대한 지역 웨이블릿 히스토그램을 생성한다. 그리고 각 지역 웨이블릿 히스토그램을 합병하여 전역 웨이블릿 히스토그램이 생성되기 때문에 생성 시간이 많이 필요하다. 또한, 웨이블릿 히스토그램으로부터 복원된 데이터에 대한 오차 경계를 고려하지 못하기 때문에 그 복원 데이터의 오차를 사전에 조절할 수 없다는 단점이 있다.
본 논문에서 개발한 웨이블릿 히스토그램 생성 시스템은 한 번의 맵리듀스 잡을 통해 빠른 시간 내에 웨이블릿 히스토그램을 생성할 수 있다. 또한 웨이블릿 히스토그램 생성 전에 사용자가 오차 경계를 미리 지정할 수 있으므로 웨이블릿 히스토그램으로 복원된 데이터에 대한 오차를 오차 허용 범위 안으로 조절할 수 있다. 마지막으로 다른 맵리듀스 기반 히스토그램 생성 시스템과의 성능 평가를 통해 본 논문에서 개발한 웨이블릿 히스토그램 생성 시스템의 효율성을 검증하였다.
Recently, the scale of the data is growing explosively due to the development of the smart phones and web/SNS, and the importance of Big Data is being highlighted accordingly. It is more efficient to process Big Data summary than Big data itself, because of the vast volume, a fast speed of generation and variety attributes which Big Data has.
Wavelet, known as one of summary construction techniques was applied to feature extraction for multimedia data. Wavelet histogram is a summary technique which grafts wavelet onto histogram considered as a typical summary technique used in query optimization of database system and processing approximate query etc. Wavelet histogram which combines merits of wavelet and histogram can generate a lossless optimal data summary of original data.
Mapreduce, a data processing platform of Google is catching on in variety areas owing to its great scalability and reliability. Therefore, the studies about data summary construction system based on Mapreduce are carring out actively.
In the existing studies, it needed more than one Mapreduce job to construct local wavelet histogram of partial data stored in each node. In addition, it took a lot of time to construct the global wavelet histogram which is the combination of all local distributed wavelet histograms. Because the error bound for data reconstructed from wavelet histogram was not considered, there is a shortcoming that we can not control the error of reconstructed data beforehand.
In this thesis, we developed a wavelet histogram construction system which can construct wavelet histogram fast by one Mapreduce job. Since the error bound can be set before the construction of wavelet histogram, we can control the error of data reconstructed from wavelet histogram under the error bound. Finally, the efficiency of our wavelet histogram construction system was proved by comparing our system with others.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)