(A) study of cancellable biometric scheme from conventional to deep neural adversarial network

다국어 초록 (Multilingual Abstract)

This research addresses the pressing security and privacy concerns surrounding biometric template protection by introducing three innovative approaches, from traditional to recent deep learning methods. Firstly, the RSBE-IoM hashing scheme enhances IoM hashing by incorporating both first and second-ranked features, thus enhancing discriminability. Furthermore, it introduces a Random Sparse Binary (RSB) encoder with instance-specific seeding, ensuring enhanced security. Evaluation across six fingerprint benchmark datasets demonstrates its effectiveness in terms of accuracy, computational cost, and compliance with biometric template protection criteria. Secondly, the CSMoFN scheme presents a deep-learning-based end-to-end multimodal cancellable biometric approach, integrating face and periocular traits. Through feature extraction, transformation, and compression modules, it achieves verification performance while ensuring Non-linkability, Revocability, and Non-Invertibility. Training and evaluation with six face/periocular multimodal datasets validate its effectiveness. Lastly, the AdEx-HashNet scheme introduces an end-to-end Cross-modal Cancellable Biometrics approach, utilizing an adversarial hashing network for template protection. Leveraging face and periocular modalities, it achieves performance while satisfying Non-Invertibility, Revocability, and Non-linkability criteria. Evaluation across five datasets demonstrates its efficacy in authentication systems, and the Diffusion model employed for reconstructing images from hashed vectors in Non-Invertibility. In addition, a new metric is proposed for the analysis of Non-Invertibility named Success Attack Rate (SAR). These approaches offer robust solutions to the challenges posed by Biometric Template Protection, balancing Security, Privacy, and Performance considerations.

국문 초록 (Abstract)

이 연구는 전통적인 방식부터 최신 딥러닝 방식까지의 세 가지 혁신적인 접근 방식을 도입하여 생체 인식 템플릿 보호와 관련된 시급한 보안 및 개인정보 보호 문제를 해결한다. 첫째, RSBE-IoM 해싱 방식은 1순위와 2순위 특징벡터를 통합하여 IoM 해싱을 강화함으로써 식별 가능성을 높인다. 또한 객체별 시딩(seeding)이 가능한 랜덤 희소 이진(Random Sparse Binary) 인코더를 도입하여 보안을 강화한다. 6개의 지문 데이터셋에 대한 인식 성능, 계산 비용, 생체 인식 템플릿 보호 측면에서 강인함이 입증되었다. 둘째, CSMoFN 방식은 딥러닝 기반의 end-to-end 멀티모달 취소 가능한 생체 인식 시스템을 제안하여 얼굴과 눈 주변 특성을 통합하여 인증을 수행한다. 특징 추출, 변환, 압축 모듈을 통해 비연결성, 취소 가능성, 비가역성을 보장하면서 인증 성능을 달성한다. 6개의 얼굴/눈 주변 다중 데이터셋을 사용한 훈련 및 평가를 통해 그 효과를 검증한다. 마지막으로 AdEx-HashNet 방법은 템플릿 보호를 위해 적대적 해싱 네트워크를 활용하는 end-to-end 방식의 교차 모달(cross-modal) 취소 가능 생체인식 접근 방식을 도입한다. 트랜스포머 기반의 특징 추출기와 생성형 알고리즘 기반의 해싱 네트워크를 통해 다중 이미지를 사용하는 모델이 가지는 한계를 최소화 한다. 또한, 얼굴 및 눈 주변 이미지를 활용하여 비반전성, 취소 가능성 및 비연결성 기준을 충족하는 동시에 성능을 달성한다. 5개의 데이터셋에 대한 평가를 통해 인증 시스템에서의 효율성을 입증하였으며, 해시 벡터로부터 이미지를 재구성하는 적대적 공격 시나리오를 확산 모델(Diffusion Model)을 기반으로 제시한다. 이미지 재구성에 대한 공격을 객관적으로 검증하는 지표인 SAR (Success Attack Rate)를 사용함으로써, 최근 대두되고 있는 딥페이크와 같은 공격에 대해 대응할 수 있을 것으로 기대된다. 이러한 접근 방식은 보안, 개인정보 보호, 성능 고려 사항의 균형을 유지하면서 생체 인식 템플릿 보호가 제기하는 문제에 대한 강력한 솔루션을 제공합니다.

목차 (Table of Contents)

• 1. Introduction
• 1.1 Background
• 1.2 Motivations
• 1.3 Objectives and Contributions
• 1.4 Dissertation Organization
• 2. Related Works
• 2.1 Cancellable Biometrics Method
• 2.2 Multimodal Biometrics with Deep Learning Method
• 2.3 Cancellable Multimodal Biometrics with DeepLearning
• 2.4 Cross-Modal Periocular-Face Biometrics with Deep Neural Network
• 3. Preliminaries
• 3.1 Locality Sensitive Hashing
• 3.2 Index of Maximum Hashing (IoM)
• 3.3 Random Permutation Maxout Transform
• 4. Random Sparse Binary Encoded Index-of-Maximum Hashing
• 4.1 Introduction
• 4.2 Methodology
• 4.3 Experimental Results
• 4.4 Privacy and Security Analysis
• 5. Cancellable SoftmaxOut Fusion Network using Multimodal Biometric
• 5.1 Introduction
• 5.2 Methodology
• 5.3 Experimental Results
• 5.4 Privacy and Security Analysis
• 6. Cross-Modal Cancellable method with Adversarial Learning
• 6.1 Introduction
• 6.2 Methodology
• 6.3 Experimental Results
• 6.4 Privacy and Security Analysis
• 7. Conclusion and Future Works
• 7.1 Summary
• 7.2 Future Works