Báo cáo Kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN --------------------------- Lê Bùi Phương An Nguyễn Lê Huy Phất KỸ THUẬT ĐỊNH DANH KHUÔN MẶT DỰA VÀO MẪU NHỊ PHÂN BÁO CÁO NGHIÊN CỨU KHOA HỌC Ngành: Khoa học máy tính TP. HỒ CHÍ MINH, tháng 5 năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN --------------------------- VÕ ANH TIẾN KỸ THUẬT ĐỊNG DANH KHUÔN MẶT DỰA VÀO MẪU NHỊ PHÂN BÁO CÁO NGHIÊN CỨU KHOA HỌC Ngành: Khoa học máy tính CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS. VĂN THIÊN HOÀNG TP. HỒ CHÍ MINH, tháng 5 năm 2021 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN Giảng viên hướng dẫn khoa học: ThS. Võ Anh Tiến (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Đề tài được bảo vệ tại t r ư ờ n g Đại học Quốc tế Sài Gòn ngày tháng năm Thành phần Hội đồng đánh giá đề tài gồm: TT Họ và tên Chức danh Hội đồng 1 Chủ tịch 2 Phản biện 1 3 Phản biện 2 4 Ủy viên 5 Ủy viên, Thư ký Xác nhận của Chủ tịch Hội đồng đánh giá đề tài sau khi đề tài đã được sửa chữa (nếu có). Chủ tịch Hội đồng đánh giá đề tài TRƯỜNG ĐH QUỐC TẾ SÀI GÒN KHOA CÔNG NGHỆ THÔNG TIN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc TP. HCM, ngày.. tháng.. năm 20.. NHIỆM VỤ ĐỀ TÀI Họ tên học viên: Giới tính: Ngày, tháng, năm sinh: Nơi sinh: Ngành: Khoa học máy tính MSSV: I- Tên đề tài: Kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân. ................................................................................................................................................. ................................................................................................................................................. II- Nhiệm vụ và nội dung: Nhiệm vụ tổng quát của đề tài là: Đề xuất được phương pháp mới để định danh khuôn mặt dựa vào mẫu nhị phân, trên cơ sở nghiên cứu các hướng tiếp cận mẫu nhị phân liên quan nhằm đạt độ chính xác nhận dạng khuôn mặt cao (so với phương pháp của Kra'l và các đồng sự). III- Ngày giao nhiệm vụ: IV- Ngày hoàn thành nhiệm vụ: V- Giảng viên hướng dẫn: ThS. Võ Anh Tiến ................................................................................................................................................. ................................................................................................................................................. GIẢNG VIÊN HƯỚNG DẪN KHOA QUẢN LÝ (Họ tên và chữ ký) (Họ tên và chữ ký) i LỜI CAM ĐOAN Chúng tôi xin cam đoan đây là công trình nghiên cứu của riêng chúng tôi. Các số liệu, kết quả nêu trong đề tài là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Chúng tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện đề tài này đã được cảm ơn và các thông tin trích dẫn trong đề tài đã được chỉ rõ nguồn gốc. Sinh viên thực hiện ii LỜI CẢM ƠN Để hoàn thành đề tài này, chúng em xin tỏ lòng biết ơn sâu sắc nhất đến ThS. Võ Anh Tiến, người đã tận tình hướng dẫn trong suốt quá trình viết luận văn. Tôi cũng xin chân thành cảm ơn quý Thầy, Cô trong khoa Công nghệ thông tin, trường Đại học Quốc tế Sài Gòn đã tận tình truyền đạt kiến thức. Với vốn kiến thức được tiếp thu trong quá trình học không chỉ là nền tảng cho quá trình nghiên cứu mà còn là hành trang quý báu để chúng em có thể bước vào đời một cách vững chắc và tự tin. Cuối cùng, tôi xin kính chúc quý Thầy, Cô dồi dào sức khỏe và thành công trong sự nghiệp, đạt được nhiều thành công tốt đẹp trong công việc và cuộc sống. Sinh viên thực hiện iii TÓM TẮT Nghiên cứu này trình bày phương pháp mới cho nhận dạng khuôn mặt dựa vào mẫu nhị phân cục bộ (LBP). Mẫu nhị phân cục bộ xem xét các điểm xung quanh điểm trung tâm trong vùng nhị phân cục bộ để tính toán các đặc trưng và đặc điểm riêng biệt trên khuôn mặt, nhưng bị ảnh hưởng bởi nhiễu, độ lệch và điều kiện ánh sáng. Trong nghiên cứu này, đề xuất phương pháp mẫu nhị phân bền vững (RLBP) nhằm mở rộng, xem xét nhiều điểm ảnh khác nhau để tính vector đặc trưng, đồng thời xét thêm điểm trung tâm so với trung bình các điểm trong vùng cục bộ. Nhờ việc giảm cường độ điểm ảnh và xem xét giá trị điểm trung tâm nên phương pháp được đề xuất loại bỏ nhiễu tốt, không bị ảnh hưởng bởi điều kiện ánh sáng. Phương pháp đề xuất được thử nghiệm trên hai bộ dữ liệu: ORL [1], YaleB [2]. Qua thực nghiệm cho thấy, phương pháp đề xuất trong đề tài này đạt độ đo chính xác tốt hơn các phương pháp khác. iv ABSTRACT This paper presents a new method for face recognition based on local binary pattern (LBP). Local binary samples look at points around the central point in the binary locality to calculate specific facial features and characteristics, but are affected by noise, deviation, and light conditions. In this study, a robust binary sample (RLBP) model was proposed to expand, considering various pixels for vector specificity, while adding a central point to the average of points in the lump area. By reducing the pixel intensity and considering the center point value, the proposed method eliminates interference, which is not affected by lighting conditions. The proposed method was tested on three sets of data: ORL [1], YaleB [2]. Experimental results show that the method proposed in this thesis has better accuracy than other methods. v MỤC LỤC LỜI CAM ĐOAN .......................................................................................................... i LỜI CẢM ƠN ...............................................................................................................ii TÓM TẮT .................................................................................................................. iii ABSTRACT ................................................................................................................ iv MỤC LỤC ................................................................................................................... v DANH MỤC TỪ VIẾT TẮT VÀ TỪ KHÓA ...........................................................viii DANH MỤC BẢNG .................................................................................................... x DANH MỤC HÌNH VẼ .............................................................................................. xi CHƯƠNG 1. TỔNG QUAN .................................................................................... 1 1.1 Giới thiệu ........................................................................................................ 1 1.2 Hệ thống nhận dạng khuôn mặt ....................................................................... 5 1.3 Mục tiêu của đề tài .......................................................................................... 7 1.4 Bố cục luận văn ............................................................................................... 7 CHƯƠNG 2. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN ........................... 9 2.1 Các hướng tiếp cận rút trích đặc trưng mặt người ............................................ 9 2.1.1 Hướng tiếp cận biểu diễn đặc trưng không gian ........................................ 9 2.1.2 Biểu diễn đặc trưng dựa vào không gian – thời gian ................................ 16 2.1.3 Hướng tiếp cận rút trích đặc trưng dựa vào giảm chiều ........................... 22 2.2 Các hướng tiếp cận liên quan đến phương pháp nghiên cứu của đề tài ........... 24 2.2.1 Đặc trưng mẫu nhị phân cục bộ ............................................................... 24 vi 2.2.2 Đặc trưng mẫu nhị phân bất biến ............................................................ 27 2.2.3 Đặc trưng mẫu nhị phân cải tiến.............................................................. 28 2.2.4 Đặc trưng mẫu tam phân cục bộ .............................................................. 29 2.2.5 Đặc trưng mẫu nhị phân cục bộ chuẩn hóa .............................................. 30 2.2.6 Đặc trưng mẫu nhị phân tăng cường ....................................................... 30 2.3 Kết luận ......................................................................................................... 32 CHƯƠNG 3. PHƯƠNG PHÁP RÚT TRÍCH ĐẶC TRƯNG ĐỀ XUẤT ............... 33 3.1 Ý tưởng thuật toán ......................................................................................... 33 3.2 Ví dụ minh họa .............................................................................................. 36 3.3 Kết luận ......................................................................................................... 37 CHƯƠNG 4. KẾT QUẢ THỰC NGHIỆM ............................................................ 38 4.1 Môi trường và cơ sở dữ liệu thực nghiệm ...................................................... 38 4.2 Kết quả thực nghiệm trên cơ sở dữ liệu ORL ................................................. 38 4.2.1 Thống kê vét lân cận cạn......................................................................... 40 4.2.2 Thống kê vét lân cận sâu ......................................................................... 44 4.2.3 Phương pháp thống kê ............................................................................ 45 4.2.4 Nhận xét ................................................................................................. 45 4.3 Kết quả thực nghiệm trên cơ sở dữ liệu yaleB ............................................... 46 4.3.1 Thống kê lân cận cạn .............................................................................. 48 4.3.2 Thống kê lân cận sâu .............................................................................. 51 4.3.3 Phương pháp thống kê ............................................................................ 52 4.3.4 Nhận xét ................................................................................................. 53 vii 4.4 Thời gian thực hiện ....................................................................................... 53 CHƯƠNG 5. KẾT LUẬN...................................................................................... 55 5.1 Kết quả làm được .......................................................................................... 55 5.2 Hướng phát triển ........................................................................................... 55 TÀI LIỆU THAM KHẢO .......................................................................................... 55 viii DANH MỤC TỪ VIẾT TẮT VÀ TỪ KHÓA STT Từ viết tắt Tiếng Anh Ý nghĩa tiếng Việt 1 LBP Local binary patterns Mẫu nhị phân cục bộ 2 PCA Principal Components Analysis Phân tích thành phần chính 3 LDA Linear Discriminant Analysis Phân tích tách lớp tuyến tính 4 DFD Discriminant face descriptor Phân biệt bộ mô tả khuôn mặt 5 BoW Bag of Words Đặc trưng túi từ 6 LQP Local quantized pattern Mẫu lượng tử cục bộ 7 HOG Histogram of Oriented Gradient Biểu đồ mật độ lệch mức xám theo hướng 8 LPQ Local Phase Quantization Định lượng đoạn cục bộ 9 NMF Nonnegative Matrix Factorization Hệ số ma trận không âm 10 SIFT Scale Invariant Feature Transform Phép biến đổi đặc trưng bất biến về tỉ lệ. 11 AU Action Units Đơn vị hành động 12 2D-PCA Two-dimensional Principle Component Analysis Kỹ thuật phân tích thành phần chính hai chiều 13 2DLDA Two-dimensional Linear Discriminant Analysis Kỹ thuật phân tích tách lớp tuyến tính hai chiều 14 VAR-LBP Variance Local Binary Patterns Mẫu nhị phân bất biến 15 ILBP Improve Local Binary Patterns Cải tiến mẫu nhị phân cục bộ 16 NILBP Neighbors Local Binary Patterns Mẫu nhị phân chuẩn hóa ix 17 EN-LBP Enhanced Local Binary Patterns Mẫu nhị phân tăng cường 18 LTP Local Ternary Patterns Mẫu tam phân cục bộ 19 RLBP Robust Local Binary Patterns Mẫu nhị phân bền vững x DANH MỤC BẢNG Bảng 4.1: Liệt kê độ chính xác đạt được của thuật toán RLBP8,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu ORL. ...................................................................... 41 Bảng 4.2: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu ORL. ......................................................... 42 Bảng 4.3: Liệt kê tổng hợp độ đo chính xác (%) thống kê vét lân cận cạn. .................. 43 Bảng 4.4: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu ORL. ......................................................... 44 Bảng 4.5: Liệt kê độ chính xác đạt được của thuật toán RLBP8,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu YaleB..................................................................... 48 Bảng 4.6: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu YaleB. ....................................................... 49 Bảng 4.7: Liệt kê tổng hợp độ đo chính xác (%) thống kê vét lân cận cạn. .................. 50 Bảng 4.8: Liệt kê độ đo phần trăm đạt được của thuật toán RLBP16,1 được đề xuất so với các thuật toán khác trên cơ sở dữ liệu YaleB. ............................................................. 51 Bảng 4.13 : So sánh thời gian thực hiện rút trích đặc trưng của các phương pháp trên tổng số ảnh mẫu của một người cho từng cơ sở dữ liệu được tính bằng ( mini giây). .. 53 xi DANH MỤC HÌNH VẼ Hình 1.1: Các dạng sinh trắc học phổ biến. ................................................................... 1 Hình 1.2: Hệ thống nhận dạng khuôn mặt. .................................................................... 5 Hình 1.3: Minh họa bài toán định danh (a) và xác thực (b). .......................................... 6 Hình 2.1: Đặc trưng hình học [29]. ............................................................................... 9 Hình 2.2: Biểu đồ đặc trưng mật độ cấp thấp ((a) LBP, (b) LPQ, (c) HoG) [29]. ........ 10 Hình 2.3: Biễu diển đặc trưng dựa vào bộ lọc Gabor [29]. .......................................... 12 Hình 2.4: Biểu diễn đặc trưng túi từ BoW [29]. .......................................................... 13 Hình 2.5: Đặc trưng GP-NMF [29]. ............................................................................ 13 Hình 2.6: Đặc trưng mã hóa phân rã [29]. ................................................................... 14 Hình 2.7: Đặc trưng thành phần dựa vào (a) SIFT và dựa vào (b) NMF [29]. ............ 15 Hình 2.8: Đặc trưng không gian-thời gian sử dụng đặc trưng hình học từ các điểm mặt [29]............................................................................................................................. 17 Hình 2.9: Đặc trưng không gian thời-gian (a) LBP-TOP và (b) LPQ-TOP [29]. ......... 17 Hình 2.10: Bộ lọc làm trơn IC [29]. ............................................................................ 18 Hình 2.11: Đặc trưng Haar động (a), và đặc trưng tương tự (b) [29]. .......................... 19 Hình 2.12: Biểu diễn biến đổi tự do [29]. .................................................................... 20 Hình 2.13: Đặc trưng BoW theo thời gian [29]. .......................................................... 21 Hình 2.14: Ví dụ LBP và độ tương phản cục bộ C. ..................................................... 24 Hình 2.15: Tập hợp các điểm xung quang Ptt. ............................................................. 25 Hình 2.16: Các biến thể của LBP. ............................................................................... 26 Hình 2.17: Bảng thống kê các mẫu của uniform LBP. ................................................ 27 Hình 2.18: Thể hiện trọng số của ILBP8,1 và ILBP4,1 ................................................... 29 Hình 2.19: Ví dụ minh họa LTP cơ bản ...................................................................... 30 Hình 2.20: Biểu đồ thể hiện thủ tục EN_LBP. ............................................................ 31 Hình 3.1: Minh họa ý tưởng thuật toán đề xuất. .......................................................... 34 Hình 3.2: Biểu đồ thể hiện thủ tục. ............................................................................. 34 xii Hình 3.3: Ví dụ RLBP. ............................................................................................... 37 Hình 4.1: Minh họa các tư thế khuôn mặt một người trong cơ sở dữ liệu ORL. ......... 38 Hình 4.2: Minh họa hình ảnh đặc trưng khuôn mặt với các thuật toán liên quan và thuật toán đề xuất RLBP trên cơ sở dữ liệu ORL. ................................................................ 39 Hình 4.3: Biểu đồ so sánh Thuật toán RLBP8,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu ORL. .............................................................................................................. 41 Hình 4.4: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu ORL. .......................................................................................................... 42 Hình 4.5: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp trên cơ sở dữ liệu ORL. 43 Hình 4.6: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu ORL. .......................................................................................................... 44 Hình 4.7: Minh họa các kiểu biểu hiện khuôn mặt trong cơ sở dữ liệu YaleB. ............ 46 Hình 4.8: Minh họa hình ảnh đặc trưng với các thuật toán liên quan và thuật toán đề xuất RLBP trên cơ sở dữ liệu YaleB. ................................................................................. 47 Hình 4.9: Biểu đồ so sánh Thuật toán RLBP8,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu YaleB. ............................................................................................................ 49 Hình 4.10: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu YaleB. ........................................................................................................ 50 Hình 4.11: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp trên cơ sở dữ liệu YaleB. ................................................................................................................................... 51 Hình 4.12: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác trên cơ sở dữ liệu YaleB. ........................................................................................................ 52 1 CHƯƠNG 1. TỔNG QUAN 1.1 Giới thiệu Sinh trắc học hay còn gọi là Công nghệ sinh trắc học (Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học đặc trưng riêng của mỗi cá nhân như vân tay, mống mắt, khuôn mặt, giọng nói, dáng đi,.. để nhận dạng. Sinh trắc học được xem là công cụ xác thực cá nhân hữu hiệu nhất hiện nay. Sinh trắc học được phát triển lâu dài, đã được nghiên cứu và ứng dụng trong các lĩnh vực anh ninh, quốc phòng, thương mại. Trong những năm gần đây, công nghệ này đã đáp ứng được những yếu tố và nhu cầu cần thiết về chi phí, sự vận hành và khả năng xác thực cho độ chính xác cao. Vì vậy trong tương lai sinh trắc học sẽ hiện hữu và được ứng dụng mạnh mẽ hơn. Một số loại sinh trắc học phổ biến hiện nay như: Dấu vân tay ( Finger print), lồng bàn tay ( Palm print), khuôn mặt ( Face), hành vi ( Behavioral), nhịp tim ( Cardiac Rhythm), võng mạc ( Retiane),... Những đáp ứng nhu cầu thực tế vô cùng hữu hiệu của các loại sinh trắc học trên, đã thôi thúc các nhà nghiên cứu không ngừng tìm hiểu và phát triển ngành công nghệ này lên tầm cao mới. Và nhận dạng khuôn mặt trở thành chủ đề tiềm năng trong nghiên cứu thị giác máy tính [3]. Hình 1.1: Các dạng si