컬러 정보를 갖는 SURF(Speeded Up Robust Features)와 Kalman Filter를 이용한 컬러 객체의 추적 수행 속도 향상 방법의 제안 = (The) study to improve performance of color object tracking method using kalman filter and SURF with color information

다국어 초록 (Multilingual Abstract)

As an important part of the Computer Vision, object recognition and tracking has infinite possibilities range from motion recognition to aerospace applications.
Augmented Reality technology which recently attracts a lot of attentions is a good example of using object recognition and tracking techniques which optimize interactions between the users and the mobile phones.
This study started off with similar context of SURFTrac[1] which tried real time tracking in that tried to reinforce the weakness of existed object recognition algorithms by combining with motion estimation algorithm.
However, There are two differences between SURFTrac and the proposed method.
First, the proposed method can recognize same patterns which have different colors while SURFTrac uses only gray image objects.
Secondly, SURFTrac is the method of applying different algorithms to whole process of SURF. This study, on the other hand, combines other algorithms where they obtain ROI(Region of Interest) as a method for improving execution speed of SURF.
Followings are the methods this study proposes.
First of all, the proposed method creates the descriptor which has color informations based on SURF algorithms for the target object which user selected.
Second, the proposed method carries out the object recognition which recognizes the same objects between the images through Web cam and the target object.
At that time, the proposed method estimates similarities among descriptors by Nearest Neighbor(NN) algorithm, and decrease occurred false matches by using RANSAC(RANdom SAmple Consensus).
Third, the proposed method extract ROI including the object when it recognizes the object.
Lastly, the proposed method actively creates new ROI by predicting central point of recognized object in ROI using Kalman Filter.
The proposed method can shorten the overall time of object recognition by fulfilling SURF in new ROI which is repeatedly renewed.
Here are the results from the experiment that this study proposed.
In the first, the proposed method could recognize objects that had same patterns but different colors, and also could maintain robustness in spite of illumination changes.
The experimentation was brought out SIFT(Scale Invariant Feature Transform), SURF and the proposed method on the three soda cans and two books which have same patterns but different colors.
As a result, the matching rate of SIFT were 95.05% and 96.56%, existing SURF were 95.08% and 91.73%, and the proposed method were 99.65% and 99.70% respectively.
For the illumination changes experiment, this study tested 5 different experiments with SIFT, SURF, SURF applying RGB model, SURF applying HSV model and the method this study proposed.
The matching rate were 96.72%, 99.39%, 4.89%, 12.66% and 99.44% respectively.
The proposed method has color information through correction using model and RANSAC, and the above two experiments prove that it is the strong object recognition method for illumination changes.
Secondly, the proposed method uses a Kalman filter of the future movement of the object by creating a pre-estimate the ROI could be fast tracked.
As a result, the proposed method(average: 62msec) could be reduced execution time 1.7 times less than existing algorithm(average: 109msec) and show closed result with real time(average: 60msec) tracking.
If the proposed method would be improved, it can be possible that replace markers for ordinary Augmented Reality with natural objects what users want to track. And this can be used for not only systems which give an information to users by analyzing specific object in a video automatically but also systems which notice objects and give the information of the object to people who are visually impaired.

국문 초록 (Abstract)

객체 인식과 추적(object recognition and tracking)은 컴퓨터 비전의 중요 분야로써 작게는 동작 인식으로부터 크게는 우주 항공까지 그 활용 가능성이 무궁무진하다.
최근 많은 관심을 보이며 어플리케이션 개발이 한창인 모바일 증강현실(Augmented Reality; AR)은 모바일 폰과 사용자 간의 상호작용을 최적화시키는 기술로써 객체 추적 기술 활용 분야의 좋은 예이다.
본 연구는 움직임 예측 알고리즘을 결합하여 기존 객체 인식 알고리즘들의 취약점을 보강함으로써 실시간 추적을 시도한 SURFTrac[1]과 유사한 맥락으로 시작하였다.
그러나 본 연구에서 제안하는 방법은 SURFTrac과 두 가지 차이가 있다.
첫째, 그레이 영상의 객체를 사용하는 SURFTrac방법과는 달리 컬러 객체를 인식함으로써 같은 패턴의 다른 컬러 객체에 대한 구분이 가능하다는 점이다.
둘째, SURFTrac이 SURF(Speeded Up Robust Features) 전체에 다른 알고리즘을 적용하는 방법이라면, 본 연구에서는 SURF 실행 속도 향상을 위한 방법으로 ROI(Region of Interest)를 구하는 부분에만 다른 알고리즘을 결합시켰다는 점이다.
제안하는 방법은 다음과 같다.
첫째, 사용자가 지정한 타겟 객체에 대해 SURF 알고리즘을 기반으로 컬러정보를 갖는 기술자(descriptor)를 생성한다.
둘째, 웹캠을 통해 들어오는 영상과 타겟 객체에서 동일한 객체를 찾아내는 객체 판별을 실시한다.
이때, Nearest Neighbor(NN)알고리즘을 통해 기술자들 간의 유사성을 판단하며, 발생되는 오정합은 RANSAC(RANdom SAmple Consensus)을 이용하여 줄인다.
셋째, 객체를 인식하였을 때 객체를 포함하는 ROI를 추출한다.
마지막으로 ROI 안에서 인식되는 객체의 중심점을 칼만 필터(Kalman Filter)를 이용하여 예측함으로써 새로운 ROI를 능동적으로 생성한다.
이렇게 반복적으로 갱신되는 새로운 ROI 안에서 SURF를 수행함으로써 전체적인 객체 인식 시간을 단축시킨다.
본 연구에서 제안하는 방법의 실험 결과는 다음과 같다.
먼저, 제안하는 방법은 같은 패턴의 다른 컬러를 갖는 객체들을 구분하여 인식하고, 조명 변화에도 강건함을 유지할 수 있었다.
같은 패턴, 다른 컬러를 가진 캔 음료 3개와 책 2권에 대해 SIFT(Scale Invariant Feature Transform)와 SURF 그리고 제안한 방법에 대해 실험을 실시하였다.
그 결과 SIFT는 각각 95.05%, 96.56%, 기존 SURF는 각각 95.08%, 91.73% 그리고 제안하는 방법은 각각 99.65%, 99.70%의 매칭율을 보였다.
조명 변화에 대한 실험에서는 SIFT, SURF, RGB 모델을 적용한 SURF, HSV 모델을 적용한 SURF 그리고 제안하는 방법과 같이 5가지 방법에 대해 실험을 실시하였다.
그 결과 각각 96.72%, 99.39%, 4.89%, 12.66%, 99.44%의 매칭율을 보였다.
제안하는 방법은 모델과 RANSAC을 이용한 보정을 통해 컬러 정보를 갖으며, 조명 변화에 강건한 객체 인식 방법이라는 것을 위 두 실험의 결과로써 증명할 수 있다.
둘째, 제안하는 방법은 칼만 필터를 이용하여 객체의 향후 움직임을 미리 예측한 ROI를 생성함으로써 빠른 추적이 가능하였다.
그 결과 기존 알고리즘 수행 시간(평균 : 109msec)을 1.7배(평균 : 62msec)감소시킬 수 있었으며, 실시간(15fps; 60mesc)에 근접한 결과를 보였다.
본 연구에서 제안하는 방법을 개선하면 기존 증강 현실에 사용되던 마커로부터 사용자가 추적하기 원하는 객체로 대체가 충분히 가능해질 것이다. 그리고, 동영상 내 특정 객체의 실시간 자동분석을 통하여 정보를 제공하는 시스템뿐 만 아니라 시각 장애인을 위해 객체를 인식하고 이를 음성으로 알려주는 시스템 등에 활용될 수 있을 것이다.

목차 (Table of Contents)

• 초 록 1
• Ⅰ. 서 론 3
• Ⅱ. 이론적 배경 및 연구 현황 7
• 2.1 추적 기술의 분류 7
• 2.1.1 Sensor-based Tracking 7
• 2.1.2 Hybrid Tracking 8
• 2.1.3 Vision-based Tracking 10
• 2.2 Vision-based Tracking의 분류 10
• 2.2.1 Model-based Tracking 10
• 2.2.2 Feature-based Tracking with marker 11
• 2.2.3 Feature-based Tracking without marker 12
• 2.3 Markerless-based Tracking (NFT)의 효율 향상을 위해 제안된 관련 연구들 13
• 2.3.1 특징점 및 기술자 13
• 2.3.1.1 SIFT의 특징점 탐지(추출) 15
• 2.3.1.2 SIFT의 기술자 생성 16
• 2.3.2 컬러 모델 17
• 2.3.2.1 RGB 컬러 모델 18
• 2.3.2.2 HSV (HSI) 컬러 모델 19
• 2.3.3 객체의 움직임 예측 20
• Ⅲ. 실험 방법 21
• 3.1 컬러 정보를 포함하는 기술자의 생성 21
• 3.1.1 SURF의 특징점 탐지(추출) 21
• 3.1.2 SURF의 기술자 생성 25
• 3.1.3 l1l2l3 컬러 모델 27
• 3.2 타겟 객체와 동일한 객체 탐지 29
• 3.3 객체를 포함하는 ROI 생성 및 향후 움직임 예측 30
• 3.3.1 칼만 필터를 이용한 움직임 예측 31
• Ⅳ. 실험 결과 35
• 4.1 실험 환경 35
• 4.2 실 험 35
• 4.2.1 다른 컬러, 같은 패턴의 객체에 대한 실험 36
• 4.2.2 조명 변화에 대한 실험 42
• 4.2.3 객체 추적 정확도와 수행 시간에 대한 실험 44
• Ⅴ. 결 론 49
• 5.1 토 의 49
• 5.2 향후 연구 제안 54
• Ⅵ.참고 문헌 55
• 영문 논문 제출서 61
• 영문 인준서 62
• ABSTRACT 63