High dynamic range image reconstruction of super resolution quality using weight maps and luminance matching function : 가중치 맵과 휘도 매칭 함수를 사용한 고해상도 화질의 동적 영역 확장 영상의 재현
High dynamic range (HDR) imaging and super-resolution (SR) reconstruction are important issues in camera development for overcoming the physical limitations of camera sensors, enhancing dynamic range and resolution. HDR imaging starts with images at multiple exposures and requires radiance conversion using the camera response curve (CRC), a weighted sum, and tone mapping. SR reconstruction uses multiple images with a subpixel shift and reconstructs the resulting image via an iterative optimization process.
Recent studies have combined HDR imaging and SR reconstruction to enhance both the intensity range and resolution. This requires converting the input image luminance into the real scene radiance using the CRC, an iterative optimization process, and tone mapping from radiance to luminance. However, the CRC estimation requires additional images and tone mapping algorithms to eliminate inconsistencies in the resulting images.
This paper suggests a method for HDR image reconstruction with SR quality by using weight maps and a luminance matching function (LMF). The weight maps are calculated from their own input image using contrast, saturation, and exposure, with weights ranging from zero to one. Both overexposed and underexposed regions are designated zero, while non-zero weights are applied for the other regions in each input image. Then, weight-mapped images are calculated by multiplying each weight map by each input image. These images are used as the input for SR reconstruction, so that during the iteration process, the regions designated as zero are not used, while the properly exposed regions in each input image provide details in the resulting image. This method requires no radiance conversion of the CRC or tone mapping.
In addition, adequate input images with normal exposures are required to improve the quality of the resulting image obtained with the proposed method. However, it is difficult to obtain the necessary input image in the real world, which may cause luminance degradation. To compensate for the degradation, an LMF is suggested. First, a reference image is defined as an image at the exposure (zero exposure) determined by the auto exposure control of a digital camera. From the reference image, 20 step images at upper exposures and 12 step images at lower exposures are selected to give the best quality, which is determined statistically from sufficient test images. Next, the mean luminance of a test image at each of the 32 exposures is calculated. Then, for the lower exposures, the ratios of the mean luminance of each exposure to the lowest exposure are calculated, while for the upper exposures, the ratios of the mean luminance at each exposure to the highest exposure are calculated. The calculated luminance ratios at lower exposures are less than one, while the ratios for the upper exposures are greater than one, resulting in a luminance ratio curve. Luminance curves are obtained for each test image using the same procedure. Then, these curves are averaged and modeled as the LMF, which is applied to the input images before calculating the weight maps.
An observer’s preference test and objective evaluations using structure similarity (SSIM) showed that the proposed method reconstructs an HDR image of SR quality from input images obtained with both normal and abnormal exposures.
동적 영역 확장 영상처리(high dynamic range imaging, HDRI)와 고해상도 영상재현(super resolution reconstruction)은 카메라 센서의 물리적 한계를 극복하기 위한 방법들로써, 각각 해상도와 동적 범위를 확장하는데 적용된다. 동적 영역 확장 영상처리는 다수의 노출이 다른 영상들을 사용하며, 카메라 응답곡선(camera response curve, CRC)를 사용한 장면의 휘도 변환, 가중치의 합, 톤 맵핑 과정을 통해 결과 영상을 획득한다. 고해상도 영상재현은 노출은 동일하지만 부화소 이동이 있는 다수의 영상을 사용하며, 반복적인 최적화 과정을 통해 결과 영상을 획득한다.
최근 동적 범위와 해상도를 동시에 향상시키기 위하여 동적 범위 확장 영상처리와 고해상도 영상처리를 병합하는 방법들이 연구되고 있다. 일반적으로 이러한 과정은 카메라 응답 곡선을 사용한 장면의 휘도 전환, 반복적인 최적화 과정, 톤 맵핑을 통해 최종적인 결과 영상을 획득한다. 그러나 카메라 응답곡선의 추정은 추가적인 영상 획득 과정을 요구하며, 톤 맵핑은 그 방법에 따라 결과 영상의 화질이 다르게 나타나는 특징이 있다.
본 연구에서는 가중치 맵과 휘도 매칭 함수를 사용한 고해상도 화질의 동적 범위 확장 영상 재현 방법을 제안한다. 가중치 맵은 대비, 채도, 노출 정도를 나타내는 영상 화질의 척도로 계산되며, 그 값은 0에서 1의 값을 가진다. 가중치는 영상의 정보가 나타나지 않는 포화 혹은 어두운 영역에서 0의 값으로 나타난다. 다음으로 가중치를 각 입력 영상에 곱하여 가중치가 적용된 영상을 계산하고, 고해상도 영상재현의 입력으로 사용된다. 여기서0의 값을 가지는 영역은 영상 정보가 없음으로 최적화 과정에서 생략하고, 각 가중치가 적용된 픽셀만이 최적화 과정에 적용되어 동적 범위와 해상도를 동시에 향상시키는 역할을 한다. 제안된 방법은 가중치 맵을 사용하여 카메라 응답곡선과 톤 맵핑을 사용한 장면의 휘도 변환 없이 결과 영상을 획득할 수 있다. 반면, 일정한 간격의 노출을 가진 충분한 영상을 사용하였을 때 더 낳은 결과를 획득한다.
그러나, 실제 상황에서 요구되는 입력 영상을 획득하는 것은 쉽지 않은 작업이며, 입력 영상에 따라 휘도 저하현상이 나타난다. 이러한 휘도 저하현상을 보상하기 위해 휘도 매칭함수를 제안하였다. 휘도 매칭 함수는 불규칙한 노출을 가지는 최소의 입력 영상을 사용하여 규칙정인 노출의 충분한 영상을 사용한 결과와 동등한 화질의 결과 영상을 재현하는데 목적이 있다. 먼저 자동노출에 의해 결정된 노출에서의 영상을 기준 영상으로 정의한다. 기준 영상으로부터 상위 20단계와 하위 12단계 까지를 가장 좋은 화질을 낼 수 있는 입력 영상으로 결정하며, 이는 다수의 테스트 영상으로부터 통계적으로 결정된 결과이다. 다름으로 상위 20단계에서 하위 12단계까지 영상의 평균 휘도를 계산한다. 하위 각 노출에서 하위 12단계의 평균 휘도에 대하여 각 노출에서 평균 휘도의 비를 계산하고, 상위 각 노출에서 상위 20단계의 평균 휘도에 대하여 각 노출에서 평균 휘도의 비를 계산한다. 따라서 하위 노출의 밝기 비는 1보다 낮은 값으로 결정되고, 상위 노출의 밝기 비는 1보다 높은 값으로 결정된다. 모든 테스트 영상에 대해서 동일한 방법으로 휘도의 비를 구한 뒤 노출에 대한 다항식의 함수로 모델링하여 LMF라 정의한다. 이 영상은 가중치 맵이 계산되기 전에 적용된다.
결과 영상의 평가를 위해 주관적인 선호도 테스트와 구조적 유사성(structure similarity, SSIM)을 사용한 객관적인 평가 테스트를 수행하였으며, 그 결과 제안된 방법은 균일한 노출과 불균일한 노출의 입력 영상에서 고해상도 화질의 동적 범위 확장 영상을 재현할 수 있음을 확인하였다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)