공감각 기반 입체영상-입체음향 변환 임베디드시스템의 설계 및 구현 = Design and Implementation of the Embedded System for converting 3D-Image into 3D-Sound based on Synesthesia
저자
발행사항
창원 : 경남대학교 대학원, 2021
학위논문사항
학위논문(박사)-- 경남대학교 대학원 : 첨단공학과 2021. 8
발행연도
2021
작성언어
한국어
주제어
발행국(도시)
경상남도
형태사항
91 ; 26 cm
일반주기명
지도교수: 김성일
UCI식별코드
I804:48002-200000505890
소장기관
본 논문은 공감각을 느끼지 못하는 비공감각자가 학습을 통해 감각 간의 전이 현상인 공감각을 느낄 수 있는 의도적인 공감각(Intentional Synesthesia)을 이용해 입체영상에서 입체음향으로 변환하는 시스템을 제안하고 구현하였다.
입체영상에서 변환하는 정보는 영상의 3요소인 색상(Color), 질감(Texture), 모양(Shape)을 사용하였고 영상의 입체감은 물체와 카메라와의 거리를 표시하는 깊이(Depth) 값을 사용하였다. 입체음향에서 변환하는 정보는 음악의 3요소인 멜로디(Melody), 하모니(Harmony), 리듬(Rhythm)을 사용하였고 음향의 입체감은 3차원 좌표인 공간(Space) 정보를 사용하였다.
입체영상과 입체음향의 변환 관계를 학습으로 인지할 수 있어야 하므로 변환 관계가 복잡하지 않도록 각 요소를 일대일 대응하도록 설계하였다.
동일한 출력이 반복되는 것을 최소화하고 영상정보를 최대한 표현하기 위해 분포도에 따른 확률적 선택 방식을 사용하여 출력함으로써 변환 관계는 유지하면서 자연스러운 음향을 출력할 수 있도록 하였다.
입체영상에서 색상은 HSV 색 공간 모델의 색상(Hue: 0°∼360°)을 12가지 색으로 정규화하여 입체음향의 멜로디 4옥타브 반음과 온음 12개 음계에 대응하여 색상분포에 따라 확률적으로 음계를 출력할 수 있도록 하였다. 질감의 표현은 통계적 특징 추출방식인 GLCM(Gray-Level Co-occurrence Matrix)의 7가지 특징으로 질감 데이터를 하모니의 장조와 단조로 표현하였다.
모양의 표현은 영상의 외곽선을 추출한 후 주파수 성분 분석인 허프 변환(Hough Transform)을 사용해 선 성분을 검출해 선 성분의 각도 분포에 따라 리듬을 선택하는 방식으로 음향을 생성하였다. 마지막으로 영상의 입체감은 사물과 카메라와의 거리인 깊이를 음향의 공간에 3차원 좌표로 매핑(Mapping)해 표현하였다. 입체영상과 입체음향의 변환 관계를 임베디드시스템에 적용해 변환됨을 확인하였다.
We propose and implement a system that converts synesthesia from 3d-image to 3d-sound with intentional synesthesia, where people who do not feel synesthesia can perceive synesthesia phenomena with learning.
Since people need to be able to recognize the transformation relationship between 3d-video and 3d-music, we design each element to be one-to-one to avoid complicated transformation relationships.
The information converted from 3d-image used the three elements of the image: Color, Texture, and Shape, while 3d in the image used depth values indicating the distance between the object and the camera. Information converted from 3d-music used the three elements of the music: melody, harmony, and rhythm, while 3d of sound used space information, which is three dimensional coordinates.
To minimize the repetition of the same output and maximize the representation of image information, we use stochastic selection methods according to distribution plots to enable natural sound output while maintaining transformation relationships.
In the 3d-image, the color normalizes the HSV color space model's color (Hue: 0° to 360°) to 12 colors, allowing the scale to be output probabilistically according to the color distribution in response to the 3d-sound melody 4 octave and note scales. The representation of textures is represented by seven features of the statistical feature extraction method, GLCM(Gray-Level Co-occurrence Matrix), in which textured data are represented in harmonies' major and minor.
After extracting the outline of the image, the representation of the shape uses Hough Transform, a frequency component analysis, to detect the line component and then select the rhythm according to the angular distribution of the line component. Finally, 3d of the image is represented by mapping depth, which is the distance between the object and the camera, to the acoustic space in three-dimensional coordinates. We apply the transformation relationship between 3d-images and 3d-sounds to embedded systems to confirm that they are transformed.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)