Khóa luận Trích chọn đặc trưng trên khuôn mặt người

ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI -------- Nguyễn Thành Trung TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT NGƯỜI KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Hà Nội – 2010 ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI -------- Nguyễn Thành Trung TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT NGƯỜI KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin GV hướng dẫn: PGS.TS. Bùi Thế Duy Hà Nội – 2010 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung i Lời cảm ơn Trước tiên, em xin gửi lời cảm ơn sâu sắc nhất đến thầy Bùi Thế Duy, người đã không quản vất vả hướng dẫn em trong suốt thời gian làm khóa luận tốt nghiệp vừa qua. Em cũng xin chân thành cảm ơn các anh chị, thầy cô trong phòng tương tác người - máy đã luôn chỉ bảo mỗi khi em có những vấn đề vướng mắc. Em xin bày tỏ lời cảm ơn sâu sắc đến các thầy cô giáo trong Trường Đại Học Công Nghệ đã tận tình dạy dỗ em suốt bốn năm học qua. Con xin cảm ơn bố, mẹ và gia đình đã luôn bên con, cho con động lực để làm việc tốt hơn. Cảm ơn tất cả bạn bè đã luôn sát cánh cùng tôi. Hà Nội, ngày 20 tháng 5 năm 2010 Nguyễn Thành Trung Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung ii Tóm tắt Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng trong nhóm các bài toán về xử lý ảnh mà đầu vào là ảnh 2D. Đầu ra của nó được sử dụng làm đầu vào cho bài toán nhận dạng mặt, nhận dạng cảm xúc,... Trong khóa luận này chúng tôi đưa ra một phương pháp lai và xây dựng hệ thống áp dụng phương pháp lai này nhằm mục đích nhận dạng các điểm đặc trưng trong các bức ảnh mặt người thông qua hướng tiếp cận trích chọn đặc trưng hình học. Hệ thống của chúng tôi đã được xây dựng hoàn chỉnh và các kết quả chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade thu được là khả quan. Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung iii Mục lục Lời cảm ơn ........................................................................................................................................................ i Tóm tắt ............................................................................................................................................................ ii Mục lục ........................................................................................................................................................... iii Danh sách hình vẽ ............................................................................................................................................ v Danh sách bảng .............................................................................................................................................. vii Chương 1 Giới thiệu ......................................................................................................................................... 1 Chương 2 Phát hiện khuôn mặt người trong ảnh 2D .......................................................................................... 3 2.1 Giới thiệu ........................................................................................................................................... 3 2.2 Tổng quan về công nghệ phát hiện khuôn mặt ...................................................................................... 3 2.2.1 Chiến lược phát hiện khuôn mặt ................................................................................................ 3 2.2.2 Xác định hướng quay của đầu ................................................................................................... 5 2.2.3 Một số phương pháp dùng phát hiện khuôn mặt ......................................................................... 7 2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và Adaboost ........................................................... 8 2.3.1 Cơ sở lý thuyết đặc trưng giống Haar ......................................................................................... 8 2.3.2 Phương pháp học máy Adaboost ............................................................................................... 9 Chương 3 Tổng quan về các phương pháp trích chọn đặc trưng ........................................................................13 3.1 Các hướng tiếp cận ............................................................................................................................13 3.2 Phương pháp trích chọn đặc trưng hình học.......................................................................................14 3.2.1 Tổng quan ................................................................................................................................14 3.2.1 Xác định các điểm đặc trưng trên khuôn mặt .............................................................................14 3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt .......................................................................16 3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học .................................17 3.3 Trích chọn đặc trưng diện mạo ...........................................................................................................19 3.3.1 Tổng quan ................................................................................................................................19 3.3.2 Mã LBP ...................................................................................................................................19 3.3.3 Bộ lọc Gabor ............................................................................................................................23 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung iv Chương 4 Xây dựng hệ thống nhận dạng các điểm đặc trưng ............................................................................25 4.1 Tổng quan về hệ thống ........................................................................................................................25 4.2 Thiết kế hệ thống ................................................................................................................................27 4.3 Thực nghiệm ......................................................................................................................................33 4.3.1 Phát hiện khuôn mặt trong ảnh ..................................................................................................33 4.3.2 Xác định các vùng đặc trưng .....................................................................................................36 4.3.3 Xác định 6 điểm đặc trưng ........................................................................................................41 4.3.3 Xác định 14 điểm đặc trưng ......................................................................................................46 Chương 5 Tổng kết và hướng phát triển ...........................................................................................................55 Tài liệu tham khảo ...........................................................................................................................................56 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung v Danh sách hình vẽ Hình 1 −Xác định đường cắt của đầu. ............................................................................................................... 6 Hình 2 − Ví dụ về 3 hướng quay của đầu. ......................................................................................................... 7 Hình 3 – Ảnh tích hợp ...................................................................................................................................... 9 Hình 4 − Sơ đồ hệ thống nhận dạng khuôn mặt. ...............................................................................................10 Hình 5 − Hệ thống nhận dạng khuôn mặt. ........................................................................................................12 Hình 6 − Lặp để xác định ngưỡng trên cửa sổ tìm kiếm ...................................................................................14 Hình 7 – Phép chiếu toàn bộ.............................................................................................................................15 Hình 9 − Sơ đồ hệ thống tự động xác định điểm đặc trưng. ..............................................................................16 Hình 10 – Mô hình nhiều trạng thái với mặt trực diện. ......................................................................................17 Hình 11 – Mô hình nhân trắc học của mặt (a) Các điểm mốc, (b) Khoảng cách. ................................................18 Hình 12 - Ví dụ về LBP và độ tương phản cục bộ C .........................................................................................20 Hình 13 - Tập hợp các điểm xung quanh Ptt. .....................................................................................................20 Hình 14 – Phần thực của bộ lọc Gabor với 5 tần xuất và 8 hướng với wmax = 𝝅/2, hàng ứng với sự thay đổi tần suất, cột ứng với sự thay đổi hướng. .................................................................................................................23 Hình 15 – Một ví dụ về ảnh sau khi nhân xoắn với 48 bộ lọc Gabor ..................................................................24 Hình 16 – 20 điểm đặc trưng. ...........................................................................................................................25 Hình 17 – Hệ thống nhận dạng 20 điểm đặc trưng. ...........................................................................................27 Hình 18 – Vị trị, kích thước con ngươi. ............................................................................................................28 Hình 19 – Các vùng đặc trưng trên khuôn mặt. .................................................................................................29 Hình 20 – Thuật toán 2 đỉnh. ...........................................................................................................................30 Hình 21 – Xác định đường biên chính bằng thuật toán đồ thị liên thông. ...........................................................31 Hình 22 – Một số ví dụ phát hiện khuôn mặt bằng đặc trưng giống Haar trên hệ cơ sở dữ liệu Conh – Kanade . 36 Hình 23 – Kết quả nhận dạng khuôn mặt thời gian thực (sử dụng camera). .......................................................36 Hình 24 – Chia khuôn mặt thành 3 phần. ..........................................................................................................37 Hình 25 – Một số ví dụ về xác định vùng mắt phải. ..........................................................................................39 Hình 26 – Một số ví dụ về xác định vùng mắt trái.............................................................................................40 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vi Hình 27 – Một số ví dụ xác định vùng miệng (a) đúng, (b) sai. .........................................................................41 Hình 28 – Đánh dấu hàng có histogram lớn nhất. .............................................................................................41 Hình 29 – Xác định vị trí mống mắt bằng histogram. ........................................................................................42 Hình 32 – Xác định mống mắt là tâm vùng đặc trưng. ......................................................................................42 Hình 31 – Một ví dụ dùng thuật toán phát hiện cạnh Canny sau khi lấy ngưỡng. ...............................................43 Hình 32 – Ví dụ về xác định 2 lỗ mũi. ..............................................................................................................43 Hình 33 – Xác định đường mép bằng histogram (a)Trường hợp chính xác, (b) Trường hợp không chính xác. ...44 Hình 34 – Ví dụ lấy ngưỡng trong khoảng [5 50]..............................................................................................45 Hình 35 – Ví dụ xác định cạnh bằng thuật toán Canny. .....................................................................................45 Hình 36 – Ví dụ xác định 2 điểm khóe miệng. ..................................................................................................46 Hình 37 – Thực nghiệm 8 điểm đặc trưng. .......................................................................................................46 Hình 38 – Ví dụ về xác định 8 điểm đặc trưng. .................................................................................................54 Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung vii Danh sách bảng Bảng 1 – Tỷ lệ khoảng cách giữa các mốc. .......................................................................................................18 Bảng 2 – Danh sách các điểm đặc trưng. ..........................................................................................................26 Bảng 3 - Bộ cơ sở dữ liệu Cohn – Kanade. ......................................................................................................34 Bảng 4 – Kết quả nhận dạng khuôn mặt trên bộ cơ sở dữ liệu Cohn – Kanade. ..................................................35 Bảng 5 – Các bộ phân lớp cascade. ..................................................................................................................38 Bảng 6 – Kết quả xác định vùng mắt phải. .......................................................................................................39 Bảng 7 – Kết quả xác định vùng mắt trái. .........................................................................................................39 Bảng 8 – Kết quả xác định vùng miệng. ...........................................................................................................40 Bảng 9 – Kết quả nhận dạng điểm mống mắt....................................................................................................42 Bảng 10 – Kết quả nhận dạng 2 lỗ mũi. ............................................................................................................43 Bảng 11 – Kết quả xác định 2 khóe miệng........................................................................................................44 Bảng 12 – Danh sách kích thước ảnh mẫu kiểm tra...........................................................................................50 Bảng 13 – Sai số trung bình. ............................................................................................................................53 Bảng 14 – Kết quả xác định 2 điểm P7,P8 với 10 mẫu. .....................................................................................54 Chương 1. Giới thiệu Nguyễn Thành Trung 1 Chương 1 Giới thiệu Trong tất cả các nền văn minh từ trước đến nay, giao tiếp là một hoạt động không thể thiếu, nó xuất hiện mọi nơi mọi lúc, trong mọi lĩnh vực và ảnh hưởng trực tiếp tới cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan. Phần còn lại của khóa luận được trình bày như sau: tại Chương 2 chúng tôi giới thiệu tổng quan về bài toán phát hiện khuôn mặt người trong ảnh 2D. Tiếp theo, chúng tôi Chương 1. Giới thiệu Nguyễn Thành Trung 2 trình bày tổng quan về các phương pháp trích chọn đặc trưng trên khuôn mặt người trong Chương 3. Sau đó, tại Chương 4 chúng tôi trình bày về hệ thống nhận dạng các đặc trưng trên khuôn mặt của mình. Cuối cùng là phần tổng kết, đánh giá và hướng phát triển chúng tôi trình bày trong Chương 5. Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 3 Chương 2 Phát hiện khuôn mặt người trong ảnh 2D 2.1 Giới thiệu Bài toán trích trọn đặc trưng trên ảnh khuôn mặt người đã được quan tâm từ khá lâu do có rất nhiều ứng dụng như: Sử dụng trong hệ thống nhận dạng cảm xúc, hệ thống tương tác giữa người và máy (điều khiển máy tính qua các cử động của khuôn mặt), hệ thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ thống quan sát theo dõi như hệ thống quản lý việc ra vào cho các cơ quan và công ty, hệ thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên khuôn mặt, hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số,... Ngày nay, đã có rất nhiều các phương pháp trích chọn đặc trưng với những cách thức rất khác nhau nhưng tất cả các phương pháp đó đều bao gồm hai công đoạn chính là:  Phát hiện khuôn mặt người trong ảnh,  Trích chọn đặc trưng. Để hiểu rõ hơn về bài toán trích chọn đặc trưng và các công đoạn trong bài toán trích chọn đặc trưng, đầu tiên chúng tôi sẽ trình bày tổng quan về công nghệ phát hiện khuôn mặt trong ảnh 2D. 2.2 Tổng quan về công nghệ phát hiện khuôn mặt 2.2.1 Chiến lược phát hiện khuôn mặt Hiện nay có rất nhiều phương pháp nhận dạng khuôn mặt người, dựa vào các tính chất của các phương pháp, ta có thể chia ra làm hai hướng tiếp cận chính như sau: Hướng tiếp cận dựa trên đặc trưng cơ bản Đây là phương pháp dựa chủ yếu trên những hiểu biết của con người về khuôn mặt. Ví dụ như những bộ phận trên khuôn mặt mắt, mũi, miệng, ngoài ra còn có thể về hình Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung 4 dạng, đường nét hay cấu tạo của khuôn mặt. Trong phướng pháp này có 2 chiến lược tiếp cận khác nhau là: Từ dưới lên (Bottum-up): Cố gắng xác định từng đặc trưng riêng biệt sau đó nhóm chúng lại với nhau và kiểm tra lại. Phương pháp này có ưu điểm là không bị ảnh hưởng của hướng xoay hay di chuyển của khuôn mặt nhưng có một số giới hạn sau:  Thứ nhất, các đặc trưng dễ bị ảnh hưởng bởi các yếu tố như độ sáng tối, hay nhiễu trong ảnh.  Thứ hai, các bước thực hiện trong cách tiếp cận này đòi hỏi chi