Báo cáo Nhận dạng vân mạch máu lòng bàn tay dựa vào đặc trưng hướng đường vân cục bộ và đặc trưng sift cải tiến

TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN KHOA CÔNG NGHỆ THÔNG TIN ----------------------- PHẠM THỊ QUỲNH - TRẦN LÊ HẢI BÌNH NHẬN DẠNG VÂN MẠCH MÁU LÒNG BÀN TAY DỰA VÀO ĐẶC TRƯNG HƯỚNG ĐƯỜNG VÂN CỤC BỘ VÀ ĐẶC TRƯNG SIFT CẢI TIẾN BÁO CÁO NGHIÊN CỨU KHOA HỌC LẦN 3 - 2021 TP. HỒ CHÍ MINH - 2021 TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN KHOA CÔNG NGHỆ THÔNG TIN  PHẠM THỊ QUỲNH - TRẦN LÊ HẢI BÌNH NHẬN DẠNG VÂN MẠCH MÁU LÒNG BÀN TAY DỰA VÀO ĐẶC TRƯNG HƯỚNG ĐƯỜNG VÂN CỤC BỘ VÀ ĐẶC TRƯNG SIFT CẢI TIẾN BÁO CÁO NGHIÊN CỨU KHOA HỌC LẦN 3 - 2021 NGƯỜI HƯỚNG DẪN TS. VĂN THIÊN HOÀNG THS. VÕ ANH TIẾN TP. HỒ CHÍ MINH - 2021 LỜI CAM ĐOAN Tôi xin cam đoan báo cáo nghiên cứu khoa học với đề tài: “Nhận dạng vân mạch máu lòng bàn tay dựa vào đặc trưng hướng đường vân cục bộ và đặc trưng sift cải tiến” là công trình nghiên cứu của riêng chúng tôi. Các trích dẫn, tham khảo trong quá trình nghiên cứu đều được trích dẫn đầy đủ, ghi rõ nguồn gốc. Tôi xin chịu hoàn toàn trách nhiệm nếu có bất kỳ sao chép không hợp lệ, vi phạm quy chế đào tạo. Người thực hiện Phạm Thị Quỳnh – Trần Lê Hải Bình LỜI CẢM ƠN Lời đầu tiên em xin gửi lời cảm ơn đến Ban lãnh đạo, toàn thể quý Thầy, Cô giảng viên Trường Đại học Quốc tế Sài Gòn đã tận tạo điệu kiện và cơ hội để chúng em được tham dự một cuộc thi trí tuệ, chuyên nghiệp và sáng tạo. Em xin gửi lời cảm ơn sâu sắc đến thầy TS. Văn Thiên Hoàng và thầy ThS. Võ Anh tiến đã tận tình hướng dẫn, tạo mọi điều kiện thuận lợi và chỉ bảo chúng em trong suốt thời gian làm nghiên cứu khoa học. Tuy vậy, do thời gian có hạn, mặc dù đã cố gắng hết sức nhưng chắc rằng bài nghiên cứu khoa học không tránh khỏi sự thiếu sót. Chúng em rất mong nhận được sự thông cảm và chỉ bảo tận tình của quý Thầy Cô và các bạn. Trân trọng cảm ơn. Phạm Thị Quỳnh – Trần Lê Hải Bình 5 MỤC LỤC DANH MỤC TỪ VIẾT TẮT .................................................................................. 7 DANH MỤC BẢNG ............................................................................................... 9 DANH MỤC HÌNH ẢNH ..................................................................................... 10 TÓM TẮT ......................................................................................................... 12 CHƯƠNG 1 TỔNG QUAN .................................................................................. 13 1.1 Giới thiệu chung ....................................................................................... 13 1.2 Hệ thống nhận dạng vân mạch máu lòng bàn tay ...................................... 17 1.3 Mục tiêu đề tài .......................................................................................... 26 1.4 Phương pháp nghiên cứu .......................................................................... 26 1.5 Đặc trưng và phạm vi nghiên cứu ............................................................. 27 1.6 Cấu trúc báo cáo ....................................................................................... 27 CHƯƠNG 2 CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN ......................... 29 2.1 Bộ lọc MFRAT ........................................................................................ 29 2.2 Các đặc trưng mẫu nhị phân cục bộ .......................................................... 30 2.3 Đặc trưng dẫn xuất cục bộ (Local derivative pattern - LDP) ..................... 35 2.4 Các đặc trưng cục bộ bất biến ................................................................... 36 CHƯƠNG 3 PHƯƠNG PHÁP ĐỀ XUẤT ............................................................ 62 3.1 Ý tưởng .................................................................................................... 62 3.2 Thuật toán ................................................................................................ 62 CHƯƠNG 4 KẾT QUẢ THỰC NGHIỆM ............................................................ 66 4.1 Cơ sở dữ liệu thực nghiệm ........................................................................ 66 4.2 Kết quả thực nghiệm ................................................................................ 66 CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN......................................... 69 5.1 Kết luận .................................................................................................... 69 6 5.2 Kiến nghị.................................................................................................. 69 TÀI LIỆU THAM KHẢO ..................................................................................... 70 7 DANH MỤC TỪ VIẾT TẮT TỪ NỘI DUNG DIỄN GIẢI NIR Near-infrared Ánh sáng hồng ngoại ATM Automated Teller Machine Máy rút tiền tự động DNA Deoxyribonucleic acid Phân tử mang thông tin di truyền PDA Personal Digital Assistant Thiết bị kỹ thuật số hỗ trợ cá nhân CCD Charge Coupled Device Cảm biến CCD ROI Region of interest Vùng quan tâm LDP Local derivative pattern Đặc trưng dẫn xuất cục bộ LBP Local binary pattern Mẫu nhị phân cục bộ MFRAT Modified Finite Radon Transform Biến đổi radon hữu hạn SIFT Scale-invariant feature transform Đặc trưng biến đổi bất biến theo tỉ lệ SURF Speeded up robust feature Đặc trưng cải thiện tốc độ ASIFT Affine scale invariant feature transform Đặc trưng biến đổi bất biến theo tỉ lệ affin RootSIFT Root Scale-invariant feature transform Bộ mô tả SIFT nâng cao PCA Principal component analysis Phương pháp phân tích thành phần chính 2D-PCA Two-dimensional principal component analysis Phương pháp phân tích thành phần chính 2 chiều 2D-FDA Two-dimensional fisher discriminant analysis Phân tích phân biệt hai chiều fisher 8 ECS-LBP Enhanced centersymmetric local binary pattern Mẫu nhị phân cục bộ đối xứng tâm cải tiến EL-SIFT Enhanced centersymmetric local binary pattern with SIFT Mẫu nhị phân cục bộ đối xứng tâm cải tiến với SIFT MLBP Multivariate Local binary pattern Mẫu nhị phân cục bộ đa biến ELBP Enhanced local binary pattern Mẫu nhị phân cục bộ nâng cao LBPV Local binary pattern variance Phương sai mẫu nhị phân cục bộ DoG Difference-of-Gaussian Bộ lọc Gaussian xác định cạnh MSIFT Modified Scale-invariant feature transform Đặc trưng SIFT sửa đổi 9 DANH MỤC BẢNG Bảng 4.1 Cơ sở dữ liệu huấn luyện và so khớp trong thực nghiệm ........................ 67 Bảng 4.3 Hiệu suất trung bình từ tay trái của PUT ................................................ 68 Bảng 4.4 Hiệu suất trung bình từ tay phải của PUT .............................................. 68 10 DANH MỤC HÌNH ẢNH Hình 1.1 Các đặc điểm sinh trắc học về cơ thể và hành vi. .................................... 14 Hình 1.2 Sơ đồ khối nhận diện bằng hình ảnh vân mạch máu lòng bàn tay ........... 18 Hình 1.3 Thiết bị chụp ảnh đa phổ lòng bàn tay .................................................... 19 Hình 1.4 Sáu hình ảnh vân lòng bàn tay điển hình trong cơ sở dữ liệu .................. 20 Hình 1.5 Lưu đồ của phương pháp đường tròn nối tiếp cực đại rút trích ROI ........ 21 Hình 1.6 Hình ảnh mức xám ................................................................................. 22 Hình 1.7 Hình ảnh nhị phân sau các phép toán hình thái ....................................... 22 Hình 1.8 Hình ảnh xoay ........................................................................................ 23 Hình 1.9 Cắt hình ảnh ROI ................................................................................... 24 Hình 1.10 Hình ảnh ROI vân lòng bàn tay ............................................................ 24 Hình 1.11 Hình ảnh ROI của vân mạch máu lòng bàn tay ..................................... 24 Hình 2.3 36 mẫu bất biến xoay được tạo ra bởi phép toán 𝑳𝑩𝑷𝟖, 𝑹𝒓𝒊 .................. 32 Hình 2.4 Phép đo kết cấu MLBP mô tả các mối quan hệ không gian trong một dải và giữa các dải ........................................................................................................... 32 Hình 2.5 Sơ đồ phép toán E – LBP4,4,3 .................................................................. 34 Hình 2.6 Mẫu 8 pixel lân cận xung quanh Z0 ........................................................ 35 Hình 2.7 Hình ảnh Gaussian liền về và sau mỗi quãng tám ................................... 41 Hình 2.8 Cực đại và cực tiểu của ảnh chênh lệch Gaussian ................................... 42 Hình 2.9 Biểu đồ số điểm chính được phát hiện trong một hình ảnh điển hình dưới dạng hàm của số lượng mẫu tỉ lệ............................................................................ 43 Hình 2.10 Dòng trên cùng trong biểu đồ hiển thị phần trăm các vị trí nổi bật được phát hiện lặp lại trong một hình ảnh đã biến đổi dưới dạng một hàm làm mịn hình ảnh trước đó cho mức độ đầu tiên của mỗi quãng tám. Dòng dưới hiển thị phần trăm bộ mô tả được so khớp chính xác với cơ sở dữ liệu lớn. ............................................. 43 Hình 2.11 Cho thấy các giai đoạn lựa chọn điểm chính......................................... 47 Hình 2.12 Dòng trên cùng trong biểu đồ hiển thị phần trăm các vị trí nổi bật và tỉ lệ được phát hiện lặp lại như một hàm của nhiễu pixel. Dòng thứ hai cho thấy độ lặp lại sau khi yêu cầu sự thống nhất trong hướng. Dòng dưới cùng hiển thị phần trăm của các bộ mô tả được so khớp chính xác với cơ sở dữ liệu lớn. .................................. 51 Hình 2.13 Mảng bộ mô tả 2x2 được tính toán từ một tập hợp 8x8 mẫu. ................ 52 11 Hình 2.14 Biểu đồ này cho thấy phần trăm các điểm chính cho kết quả so khớp chính xác với cơ sở dữ liệu gồm 40.000 điểm chính dưới dạng hàm số chiều rộng của bộ mô tả điểm chính 𝒏 × 𝒏 và số hướng trong mỗi biểu đồ. Biểu đồ được tính toán cho hình ảnh có góc nhìn affin thay đổi 50 độ và thêm 4% nhiễu. ................................ 55 Hình 2.15 Biểu đồ này cho thấy phát hiện vị trí điểm chính ổn định, hướng và so khớp cuối cùng với cơ sở dữ liệu như một hàm biến dạng affine. Mức độ biến dạng affine được biểu thị theo chiều sâu của góc quay tương đương đối với một bề mặt phẳng..................................................................................................................... 56 Hình 2.16 Các thay đổi tỉ lệ và xoay ngẫu nhiên, biến đổi affine 30 độ và nhiễu hình ảnh thêm 2% trước khi so khớp. ............................................................................ 57 Hình 2.17 Ở bên trái cách tiếp cận sử dụng SIFT; ở bên phải cách tiếp cận MSIFT trên vân lòng bàn tay không tiếp xúc. .................................................................... 58 Hình 3.1 Sơ đồ của phương pháp đề xuất. ............................................................. 62 Hình 3.2 (a) Đặc trưng CS-LBP với 8 điểm lân cận và (b) Đặc trưng ECS-LBP với 16 khối lân cận (các khối bao gồm 4 điểm) ............................................................ 63 Hình 3.3 (a), (e) Hình ảnh gốc của cùng một người, (b), (f) CS-LBP, (c), g) ECS- LBP, (d) Khớp giữa (b) và (f ), và (h) So khớp giữa (c) và (g). .............................. 64 Hình 3.4 (a), (e) Hình ảnh gốc của hai người khác nhau, (b), (f) CS-LBP, (c), (g) ECS-LBP, (d) So khớp giữa (b) và ( f), và (h) So khớp giữa (c) và (g). ................. 65 Hình 4.2 Ảnh vân mạch máu từ bàn tay trái trong cơ sở dữ liệu PUT_left_100..... 66 Hình 4.4 Ảnh vân mạch máu từ bàn tay phải trong cơ sở dữ liệu PUT_right_100 . 66 12 TÓM TẮT Gần đây, nhận dạng vân mạch máu lòng bàn tay là công nghệ sinh trắc học mới với mức độ riêng tư và bảo mật cao vì kỹ thuật này sử dụng các mạch máu dưới da lòng bàn tay để thiết lập nhận dạng. Nghiên cứu đề xuất phương pháp rút trích đặc trưng vân mạch máu lòng bàn tay mới để nhận dạng vân mạch máu lòng bàn tay không tiếp xúc dựa trên việc kết hợp mô hình nhị phân cục bộ đối xứng trung tâm (ECS-LBP) cải tiến với SIFT và MFRAT, được gọi là MFRAT SIFT - ECS-LBP. Phương pháp đề xuất bao gồm hai bước: 1) áp dụng bộ lọc MFRAT để rút trích đặc trưng hướng của đường vân. 2) Áp dụng phương pháp ECS-LBP để phát hiện các đường vân mạch máu lòng bàn tay ổn định và rõ ràng. 3) Rút trích đặc trưng cục bộ bất biến SIFT trên hình ảnh đường vân mạch máu lòng bàn tay. Kết quả thử nghiệm trên cơ sở dữ liệu vân mạch máu lòng bàn tay không tiếp xúc công khai PUT cho thấy rằng phương pháp đề xuất của đề tài đạt độ chính xác cao và mạnh mẽ để nhận dạng vân mạch máu lòng bàn tay so với các phương pháp khác. TP Hồ Chí Minh, ngày 14 tháng 5 năm 2021 Phạm Thị Quỳnh – Trần Lê Hải Bình 13 CHƯƠNG 1 TỔNG QUAN 1.1 Giới thiệu chung 1.1.1 Giới thiệu sinh trắc học Trong thời đại công nghệ phát triển, việc nhận dạng cá nhân tự động được thực hiện ngày càng nhanh chóng và dễ dàng. Công nghệ sinh trắc học ngày càng được ứng dụng phổ biến. Ví dụ ứng dụng nhận dạng vân tay trên thiết bị di động. Ứng dụng dụng này hết sức tiện lợi để bảo mật thiết bị di động. Theo kết quả từ một cuộc khảo sát gần đây, sinh trắc học được người sử dụng yêu thích và ngày càng thay thế việc sử dụng mật khẩu [1]. Sinh trắc học mang lại những lợi thế nhất định mà các cơ chế xác thực khác không thể cung cấp. Cơ chế này gắn kết chặt chẽ giữ danh tính người dùng với đặc điểm của người đó. Đặc điểm sinh trắc học này không bị mất và không bị trùng lắp [2]. Sinh trắc học có khả năng chống lại các cuộc tấn công cao hơn so với các phương pháp khác. Một trong những lợi thế chính của hệ thống nhận dạng sinh trắc học là hệ thống xác định được các người dùng đã được đăng ký trong hệ thống [3]. Ngoài ra, các hệ thống sinh trắc học yêu cầu sự hiện diện của người dùng tại thời điểm xác thực, ngăn chặn các cá nhân đưa ra các yêu cầu từ chối sai [4]. Cả hai điều khoản này đều đặc biệt quan trọng trong các ứng dụng yêu cầu bảo mật, nơi những kẻ mạo danh có thể cố gắng yêu cầu các danh tính khác nhau và đạt được lợi ích. Bên cạnh việc tăng cường bảo mật, các hệ thống sinh trắc học cũng mang lại sự tiện lợi cho người dùng bằng cách giảm bớt yêu cầu thiết kế mật khẩu và mã thông báo [5]. Hệ thống sinh trắc học sử dụng các đặc điểm cơ thể hoặc hành vi làm đặc trưng nhận dạng. Hình 1.1 minh họa một số ví dụ về các đặc điểm sinh trắc học có thể được sử dụng để xác thực người dùng. Chúng bao gồm khuôn mặt, tai, mống mắt, quét võng mạc, giọng nói, vân tay, dấu vân tay, hình dạng bàn tay/ngón tay, các mẫu vân mạch máu, nhịp tim hoặc thậm chí DNA [6], [7]. 14 Hình 1.1 Các đặc điểm sinh trắc học về cơ thể và hành vi. Đặc điểm hành vi là những đặc trưng thoái quen về hành động cơ thể của mỗi người ví dụ như: dáng đi, chữ ký, lực gõ phím/nhịp gõ, cách sử dụng chuột của máy tính và đặc điểm cầm thiết bị của người khác. Hơn nữa, các đặc trưng sinh trắc học khác như: da, mắt, màu tóc, sự hiện diện của râu, chiều cao, cân nặng, hình xăm và các yếu tố khác, cũng được sử dụng rộng rãi cho mục đích nhận diện [8]. Các thiết bị, chẳng hạn như camera từ siêu thị đến các địa điểm công cộng và đường đi, có thể xác định những người đi qua. Các hệ thống mới được thiết kế cẩn thận để có thể giảm thiểu các lỗi nhận dạng sai. Trong tương lai các hệ thống thế hệ tiếp theo có thể giảm hơn nữa lỗi nhận dạng sai bằng cách phát hiện các điều kiện làm suy yếu bất kỳ yếu tố bên ngoài nào có thể ảnh hưởng đến hiệu quả của thiết bị dựa trên sinh trắc học. 15 1.1.2 Các ứng dụng của sinh trắc học Hệ thống sinh trắc học được áp dụng trong nhiều lĩnh vực, đặc biệt là liên quan đến bảo mật như kiểm soát truy cập vật lý và logic. Bao gồm các lĩnh vực sau: 1. Dịch vụ ngân hàng/tài chính như máy ATM, thiết bị thanh toán đầu cuối, thanh toán không dùng tiền mặt, rút tiền mặt tự động, 2. Bảo mật máy tính & công nghệ thông tin như giao dịch Internet, đăng nhập máy tính cá nhân, 3. Chăm sóc sức khỏe như quan tâm đến quyền riêng tư, kiểm soát thông tin bệnh nhân, kiểm soát thuốc, 4. Nhập cư như kiểm soát biên giới, du khách thường xuyên, người tị nạn, 5. Luật pháp và trật tự xã hội như thẻ căn cước, bỏ phiếu, kiểm soát súng, nhà tù, 6. Người gác cổng/Kiểm soát ra vào cửa như thiết lập an toàn, quân đội, khách sạn, quản lý tòa nhà, 7. Viễn thông như điện thoại, gian lận thuê bao, trung tâm cuộc gọi, trò chơi, 8. Điểm danh và sự chuyên cần trong học tập và chấm công trong công ty. 9. Phúc lợi, bao gồm các dịch vụ chăm sóc sức khỏe và các khoản thanh toán phúc lợi. 10. Sản phẩm tiêu dùng như máy dịch vụ tự động, ATM, thiết bị khóa, PDA, 1.1.3 Yêu cầu của đặc trưng sinh trắc học Đặc trưng sinh trắc học cần thỏa các tính chất để có thể áp dụng được bao gồm: tính phổ biến, tính duy nhất, tính lâu dài, khả năng thu thập, khả năng đo lường, hiệu suất, khả năng chấp nhận và độ tin cậy. Trong “Sổ tay sinh trắc học” [13], “Công nghệ sinh trắc học và các hoạt động phát triển tiêu chuẩn sinh trắc học quốc tế-bảo mật” [14], các đặc tính này được trình bày như sau: Tính phổ biến: Mỗi cá nhân truy cập ứng dụng sinh trắc học phải có một phương thức cụ thể như dấu vân tay, mống mắt hoặc tai mà họ có thể sử dụng để nhận dạng bản thân. 16 Tính duy nhất: Đặc tính đã cho phải đủ khác biệt giữa các cá nhân. Các đặc điểm duy nhất có thể được sử dụng để ngăn chặn truy cập trái phép vào hệ thống sinh trắc học, ngăn chặn các cuộc tấn công. Do vậy, tính chất này hết sức quan trong, đảm bảo nhu cầu bảo mật và quyền riêng tư khi khi thiết kế hệ thống sinh trắc học. Tính lâu dài: Đặc tính sinh trắc học của một cá nhân phải đủ bất biến trong một khoảng thời gian đối với thuật toán so khớp áp dụng của hệ thống. Khả năng thu thập: Đề cập đến sự dễ dàng của việc lấy dữ liệu sinh trắc học. Có thể thu thập và số hóa các đặc trưng sinh trắc học bằng cách sử dụng các thiết bị phù hợp với các cảm biến mà không gây bất tiện quá mức cho người dùng. Bằng cách đó, chúng ta có thể rút trích và biểu diễn thành công tập dữ liệu trong các mẫu sinh trắc học. Khả năng đo lường: Bộ dữ liệu sinh trắc học phải phù hợp cho việc phân tích thống kê xác định kết quả phù hợp. Cần đánh giá độ phức tạp của các thuật toán áp dụng, thời gian tính toán và chi phí các thành phần của sơ đồ để xác định hiệu quả của hệ thống trong các ứng dụng trong thực tế. Hiệu suất: Được sử dụng để xác định độ chính xác của hệ thống nhằm cho phép người dùng được ủy quyền mới có quyền truy cập và từ chối những kẻ mạo danh. Khả năng chấp nhận: Đề cập đến cách mọi người phản ứng với hệ thống sinh trắc học, mức độ quen thuộc với các công nghệ sinh trắc học và việc sử dụng các ứng dụng (thói quen) và mức độ sẵn sàng cung cấp dữ liệu sinh trắc học. Độ tin cậy: Xác định chất lượng của đặc tính sinh trắc học. Trong cùng một ngữ cảnh, thuộc tính gian lận/giả mạo được sử dụng để đánh giá các cuộc tấn công giả mạo tiềm ẩn và đo lường mức độ dễ dàng bắt chước một đặc điểm sinh trắc học. 1.1.4 Đặc trưng vân mạch máu lòng bàn tay Nhận dạng vân mạch máu lòng bàn tay xuất hiện vào năm 1991 [17], thu hút sự chú ý của mọi người vì tính bảo mật cao, khả năng phát hiện trực tiếp, khả năng chấp nhận của người dùng và sự tiện lợi. Đặc trưng nhận dạng vân mạch máu lòng bàn tay thể hiện tính bảo mật cao, vì sử dụng mạng lưới các mạch máu dưới da lòng bàn tay 17 để nhận dạng. Vân mạch máu lòng bàn tay là thông tin sinh học bên trong cơ thể, nên những kẻ xâm nhập khó sao chép các mẫu vân mạch máu hơn nhiều so với các đặc điểm sinh trắc học khác. Mạch máu lòng bàn tay hầu như không nhìn thấy được đối với mắt người; thường được chụp dưới ánh sáng hồng ngoại (NIR). Ở trạng thái tự nhiên, các vân mạch máu lòng bàn tay được che giấu một cách tự nhiên. Hơn nữa, các mẫu vân mạch máu không bị trùng lặp ở những người khác nhau. Do đó, vân mạch máu được coi như một mã nhận dạng an toàn cao của con người. Trên thực tế, kiểu mạch máu ở tay trái và tay phải c