Đề tài Nghiên cứu xây dựng hệ thống nhận dạng mặt người online

- i - MỤC LỤC Danh mục hình vẽ ...................................................................................... iii Lời nói ñầu.................................................................................................. iv Mở ñầu ......................................................................................................... 1 Chương 1. ðặt vấn ñề................................................................................. 4 Chương 2. Phân tích hệ thống và các cơ sở lý thuyết ............................. 6 2.1. Tổng quan về ảnh số và xử lý ảnh số ..............................................................................6 2.1.1. Ảnh số .......................................................................................................................6 2.1.2. Xử lý ảnh số ..............................................................................................................7 2.2. Thu thập ảnh số ...............................................................................................................9 2.3. Nhận dạng mặt người từ ảnh ...........................................................................................9 2.4. Tách mặt người trong ảnh số .........................................................................................10 2.4.1. Sử dụng ngưỡng màu..............................................................................................11 2.4.2. Trừ ảnh với nền không ñổi......................................................................................12 2.5. Một số phương pháp tiếp cận với nhận dạng mặt người ...............................................12 2.5.1. Nhận dạng dựa trên mối quan hệ giữa các phần tử (Feature Based)....................13 2.5.2. Nhận dạng dựa trên xét toàn diện khuôn mặt (Appearance Based).......................13 2.6. Nội dung phương pháp PCA .........................................................................................17 2.7. Sơ ñồ khối và nhiệm vụ từng khối trong hệ thống ........................................................18 2.7.1. Sơ ñồ khối phần cứng .............................................................................................18 2.7.2. Sơ ñồi khối phần mềm: ...........................................................................................20 Chương 3. Thiết kế chi tiết và triển khai hệ thống................................ 24 3.1. Thu thập và tách mặt người trong ảnh...........................................................................24 3.2. Chuẩn hóa ảnh ...............................................................................................................25 3.2.1. Cắt và xoay chuẩn ảnh: ..........................................................................................25 3.3. Trích chọn ñặc tính bằng phương pháp PCA ................................................................29 3.3.1. Quá trình học..........................................................................................................30 3.3.2. Quá trình tạo ñặc tính ............................................................................................37 3.4. Quá trình nhận dạng ......................................................................................................39 Chương 4. Các kết quả triển khai hệ thống và áp dụng....................... 41 4.1. Lựa chọn thiết bị và công cụ lập trình ...........................................................................41 4.1.1. Camera ...................................................................................................................41 4.1.2. PC ...........................................................................................................................41 4.1.3. Công cụ lập trình....................................................................................................41 - ii - 4.2. Các hàm sử dụng ...........................................................................................................41 4.2.1. Khối tách ảnh ñối tượng.........................................................................................41 4.2.2. Khối tiền xử lý.........................................................................................................42 4.2.3. Khối trích chọn ñặc tính .........................................................................................42 4.2.4. Khối nhận dạng: .....................................................................................................43 4.3. Giao diện .......................................................................................................................44 4.2. Kết quả nhận dạng .........................................................................................................47 4.2.1. Test với bộ dữ liệu có sẵn .......................................................................................47 4.2.2. Test với bộ dữ liệu ñược lấy từ webcam hệ thống. .................................................49 Chương 5. Kết luận và hướng phát triển .............................................. 52 Tài liệu tham khảo .................................................................................... 55 - iii - Danh mục hình vẽ Hình 2.1. Mô hình tổng quát 2 khối chính của hệ thống. ..................................................... 6 Hình 2.2. Một số hệ tọa ñộ màu cơ bản................................................................................ 7 Hình 2.3. Hệ thống ñánh giá chất lượng ống thép trên cơ sở xử lý phim X-Quang số ........ 8 Hình 2.4. Mô hình tổng quát khối thu thập ảnh số. .............................................................. 9 Hình 2.5. Phương pháp tách mặt người sử dụng ngưỡng màu da ...................................... 11 Hình 2.6. Phương pháp trừ ảnh với nền không ñổi. ........................................................... 12 Hình 2.7. Không gian mới (u1, u2) theo hướng phân bố mạnh nhất của các vector trong không gian (x1, x2), tìm theo PCA..................................................................................... 14 Hình 2.8. Phân loại theo PCA ........................................................................................... 14 Hình 2.9. Phân loại với LDA.............................................................................................. 15 Hình 2.10. Phân loại dựa trên between và within theo LDA. ............................................ 16 Hình 2.11. Mô hình phần cứng của hệ thống ..................................................................... 18 Hình 2.12: Thu thập hình ảnh từ webcam theo các chuẩn khác nhau bằng thư viện Image Acquisition Toolbox của MATLAB .................................................................................. 19 Hình 2.13: Luồng dữ liệu ảnh và thu nhận frame ảnh bằng MATLAB ............................ 20 Hình 2.14. Sơ ñồ khối phần mềm hệ thống nhận dạng mặt người ..................................... 20 Hình 3.1. Quá trình thu thập và tách ñối tượng khỏi ảnh.. ................................................. 24 Hình 3.2. Khối chuẩn hóa ảnh ............................................................................................ 25 Hình 3.3. Xác ñịnh vùng mắt bằng phân tích lược ñồ mức xám........................................ 26 Hình 3.4. Quá trình ñặt ngưỡng tách vùng mắt. ................................................................. 26 Hình 3.5. Xác ñịnh tâm mắt của ñối tượng......................................................................... 27 Hình 3.6. Xác ñịnh góc nghiêng của khuôn mặt dựa trên tâm mắt. ................................... 27 Hình 3.7. Xoay chuẩn ñối tượng theo góc α ..................................................................... 28 Hình 3.8. Kết quả cân bằng mức xám. ............................................................................... 29 Hình 3.9. Sơ ñồ bên trong khối Trích chọn ñặc tính sử dụng PCA.................................... 30 Hình 3.10 (a). Các ảnh học của bộ dữ liệu 1 ...................................................................... 31 Hình 3.10 (b). Các ảnh học của bộ dữ liệu 2. ..................................................................... 32 Hình 3.11. Chuẩn hóa ma trận ảnh ..................................................................................... 33 Hình 3.12. Trung bình ảnh của các tập dữ liệu học............................................................ 33 Hình 3.13. Biều ñồ giá trị riêng của covariance matrix cho bộ 1. ..................................... 35 Hình 3.14. 34 eigenfaces tìm ñược. .................................................................................... 36 Hình 3.15. Biều ñồ giá trị riêng của covariance matrix cho bộ 2....................................... 36 Hình 3.16. 26 eigenfaces tìm ñược. .................................................................................... 37 Hình 3.17. Khôi phục ảnh từ các vec-tơ ñặc tính ............................................................... 38 Hình 3.18. Nhận dạng theo khoảng cách Euclide. ............................................................. 39 Hình 4.1. Giao diện chương trinh, với kết quả là nhận dạng ñược ñối tượng. ................... 44 Hình 4.2. Giao diện chương trinh, với kết quả là không nhận dạng ñược ñối tượng. ...... 45s Hình 4.3. Cửa sổ Create Data. ............................................................................................ 46 Hình 4.4. Kết quả nhận dạng ñúng, trường hợp “dễ nhận dạng”. . .................................... 47 Hình 4.5. Kết quả nhận dạng ñúng,trường hợp “khó nhận dạng”. .................................... 47 Hình 4.6. Một số trường hợp nhận dạng sai hoàn toàn ..................................................... 48 Hình 4.7. .Kết quả nhận dạng sai do vượt ngưỡng............................................................. 48 Hình 4.8. Kết quả nhận dạng ñúng,trường hợp “dễ nhận dạng”. ....................................... 49 Hình 4.9. Kết quả nhận dạng ñúng,trường hợp “khó nhận dạng”. ..................................... 49 Hình 4.10. Trường hợp nhận dạng sai do vượt ngưỡng. .................................................... 50 Hình 4.11. Trường hợp nhận dạng sai hoàn toàn do ñối tuợng ñứng quá gần camera....... 50 Hình 4.12. Các trường hợp nhận dạng sai hoàn toàn của bộ dữ liệu ................................ 51 - iv - Lời nói ñầu Hiện nay, cùng với sự phát triển của xã hội, vấn ñề an ninh bảo mật ñang ñược yêu cầu khắt khe tại mọi quốc gia trên thế giới. Các hệ thống xác ñịnh, nhận dạng con người ñược ra ñời với ñộ tin cậy cao. Một trong những bài toán nhận dạng con người ñược quan tâm nhất hiện nay ñó là nhận dạng qua khuôn mặt. Vì nhận dạng qua khuôn mặt là cách mà con người sử dụng ñể phân biệt nhau. Bên cạnh ñó, ngày nay việc thu thập, xử lý thông tin qua ảnh ñể nhận biết ñối tượng ñang ñược quan tâm và ứng dụng rộng rãi. Với phương pháp nay, chúng ta có thể thu nhận ñược nhiều thông tin từ ñối tượng mà lại không cần tác ñộng nhiều ñến ñối tượng nghiên cứu. Với sự phát triển của khoa học máy tính, bài toán nhận dạng mặt người từ ảnh số ñang có ñược môi trường phát triển hết sức thuận lợi. Các hệ thống nhận dạng offline ñã ra ñược ra ñời và có ñộ tin cậy phù hợp, tuy nhiên các hệ thống nhận dạng online lại chưa ñáp ứng ñược nhiều. Dựa trên các lý thuyết về tách mặt người và nhận dạng mặt người, ñồ án ñã tìm hiểu và xây dựng một hệ thống thu thập và nhận dạng mặt người online từ ảnh số. ðồ án ñã ñạt ñược một số kết quả nhất ñịnh. Em xin chân thành cảm ơn PGS. TSKH. TRẦN HOÀI LINH ñã tận tình hướng dẫn. Xin cảm ơn Công ty TNHH Tin học và ðiện tử Thăng Long cùng chú VŨ QUANG THÀNH ñã tạo ñiều kiện giúp ñỡ, cho em nhiều lời khuyên bổ ích trong quá trình thực tập tốt nghiệp và làm ñồ án. Hà Nội, ngày 20 tháng 5 năm 2009 Sinh viên thực hiện Nguyễn ðăng Dũng - 1 - Mở ñầu Hiện nay, vấn ñề kiểm soát an ninh ñang là một trong những vấn ñề ñược quan tâm hàng ñầu trên toàn thế giới. Bài toán nhận dạng vì vậy ñược quan tâm rất nhiều. Trong vấn ñề nhận dạng con người, ñã có nhiều phương pháp ñược ñưa ra và có ñộ chính xác cao. Các bài toán nhận dạng ñược áp dụng theo hai con ñường: nhận dạng offline và nhận dạng online. Nhận dạng offline: ðối tượng ñược thu thập thành các file dữ liệu và ñược chuyển về trung tâm. Tại ñó, các số liệu sẽ ñược phân tích xử lý, thời xử lý không yêu cầu quá khắt khe. Nhận dạng online: ðối tượng ñược thu thập và xử lý trực tiếp tại hiện trường. Thời gian xử lý luôn ñược yêu cầu khắt khe ñể có thể bám theo ñược ñối tượng. Một bài toán nhận dạng con người ñang phổ biến hiện nay: - Nhận dạng vân tay - Nhận dạng bàn tay - Nhận dạng vân mắt - Sử dụng thẻ xác nhận … Các phương án nhận dạng trên ñã qua một thời gian dài phát triển nên ñã ñạt ñược ñộ chính xác cao. Tuy nhiên, các phương pháp này vẫn còn gặp phải một số hạn chế như sau: - Các hệ thống trên ñòi hỏi người sử dụng phải tiếp xúc trực tiếp với hệ thống, người ñó ý thức ñược rằng mình ñang ñược nhận dạng. - Với các hệ thống thẻ xác nhận, người nhận biết yêu cầu phải có thẻ, ñiều này chỉ có thể áp dụng với các thành viên thường xuyên ra vào hệ thống. - Với các hệ thống vân mắt, vân tay,… không phải bao giờ ta cũng có thể lấy ñược mẫu của ñối tượng. - Nhận dạng dựa vào vân tay, bàn tay, vân mắt, thẻ xác nhận,… không phải là cách tự nhiên mà con người sử dụng ñể nhận biết. - … Hiện nay, với sự phát triển của toán học và khoa học máy tính, một trong các bài toán nhận dạng ñang ñược quan tâm nghiên cứu nhiều là nhận dạng khuôn mặt. Mặc dù nhận dạng khuôn mặt hiện nay chưa ñạt ñược ñộ chính xác cao như một số phương pháp khác ñã nêu trên (ví dụ nhận dạng vân tay), nhưng nhận dạng khuôn mặt vẫn luôn nhận ñược nhiều sự quan tâm của khoa học vì một số các lý do như sau: - Nó gắn liền với cách mà con người nhận biết. - 2 - - Với các hệ thống camera số, ta có thể dễ dàng lấy ñược thông tin về ñối tượng mà không cần tiếp xúc trực tiếp. - Giám sát ñược ñối tượng một cách kín ñáo. - Các thuật toán phức tạp ñược hỗ trợ bởi các hệ máy tính có tốc ñộ cao. - … Nhận dạng khuôn mặt offline ñã có nhiều công trình công bố và các thuật toán có ñộ chính xác tương ñối cao. Tuy nhiên ñể kết hợp với các hệ thống khác ñể tạo ra một hệ thống nhận dạng online thì vẫn chưa ñạt ñược kết quả mong ñợi. Hệ thống nhận dạng mặt người online sẽ mang lại thêm một giải pháp kiểm soát an ninh phù hợp với các ñiều kiện mà các hệ thống nhận dạng khác không thỏa mãn ñược. Với hệ thống nhận dạng mặt người online có ñược ñộ tin cậy cao hơn, thì các ñiều kiện ñầu vào nên ñược quy ñịnh chặt chẽ hơn. ðồ án ñược thực hiện với mục ñích nghiên cứu xây dựng một hệ thống nhận dạng mặt người online như trên. Yêu cầu ñặt ra của ñồ án như sau: xây dựng một hệ thống nhận dạng mặt người online với ñầu vào là ảnh khuôn mặt người cần nhận dạng, ñược thu thập bằng camera số, ñầu ra là kết quả nhận dạng cho khuôn mặt ñó. Nhiệm vụ ñặt ra của ñồ án là giải quyết yêu cầu trên. ðể có thể xử lý ñược bài toán trên, ñồ án ñề xuất hướng tiếp cận là sử dụng các kỹ thuật xử lý ảnh số. Các ảnh số ñược thu thập bằng camera số và xử lý thông qua máy tính PC. ðây là hệ thống nhận dạng online nên có yêu cầu về thời gian Bài toán nhận dạng mặt người online là sự kết hợp của 2 bài toán: - Bài toán xác ñịnh mặt người trong ảnh số (Human Face Detection) - Bài toán nhận dạng mặt người (Face Recognition) Trong hai bài toán này, bài toán xác ñịnh mặt người là bài toán mang tính quyết ñịnh tới ñộ chính xác của hệ thống. Khuôn mặt ñược xác ñịnh “tốt” sẽ mang lại kết quả cao cho quá trình nhận dạng. Việc lựa chọn phương án giải quyết hai bài toán trên phải tính toán tới thời gian xử lý. Do hệ thống là online, nên ñể có thể theo dõi ñược ñối tượng thì thời gian xử lý phải ñủ nhanh. Trong khuôn khố thời gian cho phép, ñồ án ñã ñặt ra một số ñiều kiện cụ thể và giải quyết các bài toán liên quan, ñề xuất hệ thống phần cứng và xây dựng chương trình phần mềm ñể phục vụ các yêu cầu trên. ðây là bài toán thuộc lĩnh vực xử lý ảnh số nên ñồ án sẽ tập trung nghiên cứu nhiều nhất về ảnh số và xử lý ảnh số. ði kèm theo ñó, ñồ án tìm hiểu về thu thập ảnh, các phương pháp tách mặt người và nhận dạng mặt người. Sau ñó, ñồ án lựa chọn phương - 3 - án ñể thực hiện giải quyết bài toán ñề ra. Sau khi lựa chọn phương án, ñồ án sẽ ñi vào thiết kế và thi công các khối của hệ thống. Cuối cùng ñồ án trình bày về các kết quả ñã ñạt ñược, những tồn tại và hướng phát triển của ñề tài. Nội dung trình bày của ñồ án bao gồm 5 chương chính và danh sách các tài liệu tham khảo. - Chương 1 trình bày về yêu cầu ñối với ñầu vào và ñầu ra, thời gian thực hiện của hệ thống. - Chương 2 trình bày về ảnh số và xử lý ảnh số, ứng dụng của xử lý ảnh số trong tách và nhận dạng mặt người, các phương pháp hiện có và lựa chọn phương án ñể giải quyết yêu cầu ñề ra. - Chương 3 nói về quá trình thiết kế và thi công các phần của ñồ án. - Chương 4 là các kết quả, giao diện chương trình, các trường hợp ñúng, các trường hợp sai và phân tích các trường hợp sai. - Chương 5 trình bày về các kết quả ñã ñạt ñược, các tồn tại và hướng phát triển của ñồ án. - Chương 6 là danh mục các tài liệu tham khảo. . 1. ðặt vấn ñề - 4 - Chương 1. ðặt vấn ñề Như ñã trình bày, hiện nay nhiều phương pháp ñã ñược ñưa ra phục vụ cho nhận dạng khuôn mặt và ñã ñạt ñược ñộ tin cậy nhất ñịnh khi kiểm tra bằng các hệ thống nhận dạng offline. Tuy nhiên khi áp dụng cho hệ thống online, kết quả thu ñược chưa cao. Lý do dẫn ñến kết quả ñó, phần lớn là do tác ñộng của ñiều kiện xung quanh. Các yếu tố ảnh hưởng tới kết quả nhận dạng (ảnh hưởng của ñiều kiện biên): - Ánh sáng: Ảnh số biểu diễn cường ñộ sáng của ñối tượng, do ñó khi ánh sáng thay ñổi, thông tin về ñối tượng sẽ bị ảnh hưởng. - Cự ly của ñối tượng so với camera: khoảng cách ñối tượng so với camera sẽ xác ñịnh số pixel ảnh quy ñịnh nên khuôn mặt. - Cảm xúc biểu cảm trên khuôn mặt: các nét biểu cảm cảm xúc trên khuôn mặt gây ra nhiễu, việc loại nhiễu này vẫn chưa có phương pháp hiệu quả. - Tư thế ñứng của ñối tượng (nghiêng, xoay,…): tư thế của ñối tượng sẽ xác ñịnh thông tin của ñối tượng ñó. Việc tư thế thay ñổi quá lớn sẽ làm thay phần lớn thông tin về ñối tượng, dẫn ñến kết quả nhận dạng sai. - Trang phục của ñối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu như ñối tượng có các trang phục khác biệt so với mẫu như ñeo kính, ñội mũ,... ðể giải quyết ñược bài toán này, ñồ án ñưa ra các biện pháp ñể giảm thiểu các khả năng gây sai số ñã nêu trên như yêu cầu ánh sáng ổn ñịnh, tư thế của ñối tượng là tương ñối thẳng, cự ly từ ñối tượng ñến camera ñược quy ñịnh cụ thể, …. Bài toán ñược ñặt ra như sau: Xây dựng hệ thống thu thập và nhận dạng mặt người với ñầu vào là ảnh số chứa ñối tượng cần nhận dạng, hệ thống sẽ ñưa ra 3 ảnh trong cơ sở dữ liệu có mức ñộ tương khớp cao nhất và kết luận kết quả nhận dạng. Phương pháp nhận dạng dựa trên phân tích xử lý ảnh số và theo mô hình khoảng cách ngắn nhất. Thời gian thực hiện ñược yêu cầu 5s≤ . Yêu cầu của ảnh ñầu vào: - Ảnh ñược lấy từ Camera kỹ thuật số, có chứa hoặc không chứa ñối tượng, ñược truyền về PC ñể lưu trữ, xử lý và phân tích. - Yêu cầu ñối với ảnh: o Nền không ñổi, ánh sáng tương ñối ổn ñịnh, camera ñược ñặt cố ñịnh o Người cần nhận dạng ñứng cách camera khoảng 1m, tư thế tương ñối thẳng và ngay ngắn. o Người cần nhận dạng không nên ñể tóc phủ mắt, không ñeo kính (yêu cầu này ñược ñặt ra khi hệ thống sử dụng phương pháp tìm mắt ñể ñịnh vị khuôn mặt) 1. ðặt vấn ñề - 5 - Yêu cầu ñầu ra: - Nếu ảnh không chứa ñối tượng, hoặc là người c