MaterialNet : Multi-scale Texture Hierarchy and Multi-view Surface Reflectance for Material Type Recognition
저자
발행사항
용인 : 경희대학교 대학원, 2022
학위논문사항
학위논문(석사)-- 경희대학교 대학원 : 컴퓨터공학과 2022. 8
발행연도
2022
작성언어
영어
주제어
DDC
004 판사항(22)
발행국(도시)
경기도
형태사항
v, 42 p. : 천연색삽화 ; 26 cm
일반주기명
경희대학교 논문은 저작권에 의해 보호받습니다.
지도교수: SeungKyu Lee
참고문헌: p. 36-41
UCI식별코드
I804:11006-200000629210
소장기관
Material is distinguishing characteristic of real world objects. Recognizing unique texture of certain material type enables improved object detection or semantic segmentation. Incorporating acquired material properties such as surface reflectance of real world objects makes more realistic and richer 3D models in computer graphics. A robot arm interacting with its environment essentially requires to recognize the stiffness or roughness of target object for precise and undamaged interaction. Despite such high expectations and necessities, recognizing material type and its properties from color image is a challenging task. In this work, we propose (1) multi-scale texture hierarchy extraction network (MSTH-Net) encoding view-independent comprehensive multi-scale textures and their hierarchy and (2) multi-view surface reflectance extraction network (MVSR-Net) encoding view-specific features revealing surface reflectance of a material type. Finally, MaterialNet is proposed combining MSTH-Net and MVSR-Net for material type recognition from multi-view color images. Extensive experimental evaluations on six public benchmark datasets show promising performance of proposed method and potential for practical applications. To utilize material type information, we also propose (3) material mapping method that extracts material properties from multi-view images of scanned object for realistic rendering. Surface material type is classified by encoding both surface reflectance and visual appearance. Recognized material type helps to build roughness and metallic maps of 3D mesh models enabling material-aware rendering.
더보기재질은 현실 세계의 객체 유형을 결정하는데 필수적인 특성입니다. 특정 재질 유형의 고유한 질감을 인식하면 object detection 또는 semantic segmentation 성능을 향상시킬 수 있습니다. 현실 세계의 객체 표면 반사율 등의 획득한 재질 속성을 통합하면 컴퓨터 그래픽스에서 보다 사실적이고 풍부한 3D 모델을 만들 수 있습니다. 객체와 상호 작용하는 로봇 팔은 기본적으로 정확하고 손상되지 않은 상호 작용을 위해 대상 물체의 강성 또는 거칠기를 인식해야 합니다. 이러한 높은 기대와 필요성에도 불구하고 컬러 이미지에서 재질 유형과 특성을 인식하는 것은 어려운 작업입니다.
본 논문에서는 view에 독립적인 다중 스케일 텍스처 계층을 인코딩하는 (1) multi-scale texture hierarchy extraction network (MSTH-Net)과 view에 특정한 표면 반사율을 추출하는 (2) multi-view surface reflectance extraction network (MVSR-Net)를 제안합니다. 최종적으로 다시점 컬러 이미지에서 재질 유형 인식을 위해 MSTH-Net과 MVSR-Net을 결합한 MaterialNet을 제안합니다. 6개의 퍼블릭 벤치마크 데이터 세트에 대한 광범위한 실험 결과는 제안된 방법의 유망한 성능과 실제 적용 가능성을 보여줍니다. 또한, 재질 유형 정보를 사실적인 렌더링에 활용하기 위해 (3) 스캔된 객체의 다시점 이미지에서 재질 속성을 추출하여 재질을 매핑하는 방법을 제안합니다. 표면 재질 유형은 표면 반사율과 시각적 특징을 모두 인코딩하여 분류됩니다. 인식된 재질 유형은 재질 정보가 할당된 렌더링을 가능하게 하는 3D 메쉬 모델의 roughness 및 metallic 맵을 추출하는 데 사용됩니다.
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)