Khóa luận Tái tạo mô hình khuôn mặt từ các điểm đặc trưng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Tƣ TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Đình Tƣ TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ Thông tin Cán bộ hƣớng dẫn: PGS.TS Bùi Thế Duy HÀ NỘI - 2010 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư i LỜI CẢM ƠN Lời đầu tiên em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Bùi Thế Duy, thầy đã hướng dẫn em tận tình trong suốt năm học vừa qua. Em xin cảm ơn cô giáo Ma Thị Châu đã trao đổi, thảo luận và giúp đỡ em nhiều trong quá trình làm khóa luận này. Em xin bày tỏ lòng biết ơn tới các thầy, cô giáo trong Khoa Công nghệ thông tin – trường Đại học Công nghệ - ĐHQGHN. Các thầy cô đã dạy bảo, chỉ dẫn em và luôn tạo điều kiện tốt nhất cho em học tập trong suốt quá trình học đại học, đặc biệt là trong thời gian làm khóa luận tốt nghiệp. Tôi xin cảm ơn các anh, chị khóa trên và các bạn K51 trường Đại học Công nghệ đã chỉ dẫn cũng như cho những ý kiến đóng góp giá trị cho khóa luận này. Cuối cùng con xin gửi tới Bà, Bố Mẹ, Cậu Mợ, Chú Dì cùng toàn thể Gia đình lòng biết ơn và tình cảm yêu thương. Hà Nội, ngày 20/05/2010 Nguyễn Đình Tư Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư ii TÓM TẮT Tái tạo mô hình khuôn mặt là việc khôi phục lại mô hình khuôn mặt từ hộp sọ của người chết hoặc từ nhiều ảnh hai chiều đầu vào. Tái tạo mô hình khuôn mặt đã và đang trở thành một vấn đề khoa học máy tính hiện đại. Vấn đề (bài toán) này được áp dụng rộng rãi trong nhiều ứng dụng thực tiễn. Bài toán được áp dụng và có ý nghĩa lớn trong việc xác định danh tính của người chết từ hộp sọ của họ trong các vụ án hình sự, trong công cuộc tìm mộ liệt sĩ hay trong khảo cổ học. Bài toán còn được ứng dụng trong tương tác người máy nhằm tạo ra những nhân vật ảo có khuôn mặt giống nhân vật thật đồng thời có khả năng giao tiếp, biểu hiện cảm xúc và thái độ qua gương mặt giống như con người. Hiện nay ở Việt Nam, tái tạo mô hình khuôn mặt đang thu hút được sự quan tâm đặc biệt. Các nhà nghiên cứu và viện pháp y quân đội đang bước đầu xây dựng một hệ thống tái tạo khuôn mặt từ hộp sọ để ứng dụng vào việc xác định danh tính của các liệt sĩ vô danh. Trong khóa luận này, chúng tôi trình bày về một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng trên khuôn mặt. Hệ thống sử dụng mô hình đa mạng hàm cơ sở bán kính, Radial Basis Function (RBF) để biến đổi một mô hình khuôn mặt nguồn ra mô hình khuôn mặt đích. Mô hình đa mạng RBF được huấn luyện bởi tập các điểm đặc trưng trên khuôn mặt nguồn và tập các điểm đặc trưng trên khuôn mặt đích tương ứng. Hệ thống đã được thử nghiệm trên dữ liệu được tạo từ ảnh của những khuôn mặt thật và cho kết quả có triển vọng. Bên cạnh đó chúng tôi đã xây dựng được một quy trình tạo cơ sở dữ liệu phục vụ cho việc thẩm định hệ thống và có thể phục vụ cho các nghiên cứu khác có cùng đối tượng nghiên cứu. Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư iii MỤC LỤC LỜI CẢM ƠN ......................................................................................................................................................... I TÓM TẮT ............................................................................................................................................................. II MỤC LỤC ........................................................................................................................................................... III DANH SÁCH HÌNH VẼ ..................................................................................................................................... IV DANH SÁCH BẢNG ............................................................................................................................................ V CHƢƠNG 1 GIỚI THIỆU ................................................................................................................................... 1 CHƢƠNG 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT ....................................................................... 3 2.1 Giới thiệu chung về giải phẫu khuôn mặt ...............................................................................3 2.1.1 Xương mặt và hộp sọ ....................................................................................................................... 3 2.1.2 Giải phẫu cơ mặt .............................................................................................................................. 6 2.2 Các phương pháp biểu diễn mô hình khuôn mặt ....................................................................9 2.2.1 Tạo mô hình khuôn mặt với lớp da là lưới đa giác ........................................................................ 10 2.2.2 Tạo mô hình mặt người bằng bề mặt tham số ................................................................................ 13 2.3 Các phương pháp tái tạo khuôn mặt .....................................................................................15 2.3.1 Các phương pháp hai chiều (2D) ................................................................................................... 15 2.3.1.1 Phương pháp lồng sọ vào bức vẽ chân dung ........................................................................ 16 2.3.1.2 Phương pháp lồng sọ vào ảnh .............................................................................................. 16 2.3.2 Các phương pháp ba chiều (3D) .................................................................................................... 20 2.3.2.1 Các phương pháp 3D truyền thống ...................................................................................... 20 2.3.2.2 Các phương pháp 3D sử dụng công nghệ thông tin ............................................................. 25 CHƢƠNG 3 HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG .............. 31 3.1 Mô hình hệ thống ..................................................................................................................31 3.2 Chuẩn hóa dữ liệu .................................................................................................................34 3.2.1 Các phép biến đổi trong không gian ba chiều được sử dụng ......................................................... 34 3.2.2 Sử dụng các phép biến đổi để chuẩn hóa dữ liệu ........................................................................... 40 3.3 Biến đổi khuôn mặt ...............................................................................................................41 3.3.1 Mô hình khuôn mặt nguồn ............................................................................................................. 42 3.3.2 Biến đổi mô hình khuôn mặt ......................................................................................................... 42 3.4 Chỉnh sửa khuôn mặt ............................................................................................................44 3.4.1 Chỉnh sửa theo điểm ...................................................................................................................... 44 3.4.2 Chỉnh sửa theo vùng ...................................................................................................................... 45 3.5 Thiết kế hệ thống ...................................................................................................................49 CHƢƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ .............................................................................................. 54 4.1 Các bước tiến hành thực nghiệm ..........................................................................................54 4.2 Kết quả và đánh giá ..............................................................................................................55 CHƢƠNG 5 TỔNG KẾT .................................................................................................................................... 62 TÀI LIỆU THAM KHẢO ................................................................................................................................... 63 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư iv DANH SÁCH HÌNH VẼ Hình 1. Cấu trúc xương đầu người ............................................................................................. 4 Hình 2. Các nhóm cơ mặt ........................................................................................................... 7 Hình 3. Các loại cơ mặt .............................................................................................................. 8 Hình 4. Các phiên bản khác nhau của CANDIDE ................................................................... 11 Hình 5. Mô hình Greta .............................................................................................................. 12 Hình 6. Một bề mặt B-Spline ................................................................................................... 14 Hình 7. Lồng sọ vào bức vẽ chân dung .................................................................................... 16 Hình 8. Ảnh nửa mặt và nửa sọ ................................................................................................ 16 Hình 9. Lồng sọ vào ảnh trên hệ thống gương bán mạ tại viện Pháp y Quân Đội ................... 17 Hình 10. Tái tạo mặt dựa trên xương sọ mặt của nạn nhân ...................................................... 23 Hình 11. Mô hình khuôn mặt với việc đắp đất sét lên hộp sọ, sử dụng ................................... 25 Hình 12. Quá trình tái tạo khuôn mặt từ hộp sọ ....................................................................... 27 Hình 13. Ảnh chụp đầu của xác ướp ở Florence (inv. N. 8643) (a) và ảnh chụp cắt lớp xoắn ốc (b) ............................................................................................................................................. 28 Hình 14. Dựng lại khuôn mặt của Pharaoh Tutankhamun. ...................................................... 29 Hình 15. Mô hình hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng ........................ 33 Hình 16. Phép quay chiều dương, trục quay Ox, hướng nhìn là hướng âm trục Ox ................ 35 Hình 17. Phép quay quanh một trục bất kì ............................................................................... 37 Hình 18. Quay vec-tơ 𝑢 về trục Oz .......................................................................................... 38 Hình 19. Cách tính góc α .......................................................................................................... 39 Hình 20. Chọn 4 điểm mốc để chuẩn hóa dữ liệu qua các phép biến đổi 3D ........................... 40 Hình 21. Mô-đun chỉnh sửa khuôn mặt theo từng điểm đặc trưng ........................................... 44 Hình 22. Mô-đun chỉnh sửa khuôn mặt theo vùng ................................................................... 45 Hình 23. Chỉnh sửa mắt to nhỏ ................................................................................................. 46 Hình 24. Chỉnh sửa mũi dài ngắn ............................................................................................. 46 Hình 25. Chỉnh độ rộng cánh mũi ............................................................................................ 47 Hình 26. Chỉnh sửa miệng nhỏ, rộng ........................................................................................ 47 Hình 27. Chỉnh sửa cằm dài, ngắn............................................................................................ 48 Hình 28. Chỉnh sửa tai to, nhỏ .................................................................................................. 48 Hình 29. Biểu đồ UML thể hiện thết kế phần điều khiển, hiển thị khuôn mặt ......................... 49 Hình 30. Biểu đồ UML thể hiện thiết kế phần điều khiển các thao tác biến đổi mô hình khuôn mặt ............................................................................................................................................ 51 Hình 31. Giao diện của hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt .............................. 53 Hình 32. Các điểm đặc trưng được chọn để thử nghiệm .......................................................... 55 Hình 33. Kết quả tái tạo khuôn mặt của người thứ nhất ........................................................... 56 Hình 34. Điều chỉnh cánh mũi hẹp hơn .................................................................................... 57 Hình 35. Điều chỉnh miệng nhỏ hơn ........................................................................................ 57 Hình 36. Kết quả tái tạo khuôn mặt của người thứ hai ............................................................. 58 Hình 37. Điều chỉnh cho mắt nhỏ ............................................................................................. 59 Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư v DANH SÁCH BẢNG Bảng 1. Chỉ số sọ của một số dân tộc khác nhau...................................................................... 19 Bảng 2. Các thông số độ dày mô mềm (mm) cho người Mỹ da đen ........................................ 24 Bảng 3. Bảng đánh giá độ chính xác của các vùng trên khuôn mặt tái tạo được ..................... 60 Chương 1. Giới thiệu Nguyễn Đình Tư 1 Chƣơng 1 GIỚI THIỆU Tái tạo mô hình khuôn mặt (nói chính xác hơn là tái tạo hình dạng khuôn mặt) từ hộp sọ hoặc từ nhiều ảnh hai chiều là một bài toán được ứng dụng và có ý nghĩa quan trọng trong nhiều lĩnh vực. Một số lĩnh vực áp dụng tiêu biểu của bài toán có thể kể đến như khảo cổ học, nhân chủng học và giám định pháp y. Trong khảo cổ học, nhân chủng học, nhiều khi ta cần tái tạo khuôn mặt của người xưa dựa vào các hộp sọ khai quật được. Trong giám định pháp y, ở các vụ án hình sự nghiêm trọng mà vật chứng có thể chỉ là sọ của nạn nhân, việc tái tạo lại được khuôn mặt của nạn nhân từ sọ giúp tìm ra danh tính của nạn nhân nhanh chóng hơn và từ đó đề ra cơ sở, phương hướng cho việc điều tra. Ngoài ra bài toán còn có thể được áp dụng trong công cuộc tìm danh tính của các liệt sĩ vô danh dựa vào hài cốt của họ. Đây là ý nghĩa nhân văn cao cả mà bài toán có thể đem lại. Việc xây dựng được hệ thống tái tạo mô hình khuôn mặt như vậy sẽ giúp chúng ta tiết kiệm được nhiều chi phí và công sức hơn so với các hệ thống giám định gen. Tái tạo mô hình khuôn mặt được nghiên cứu từ cuối thế kỉ 19, mở đầu bằng nghiên cứu về mối quan hệ giữa xương và độ dày của các mô mềm trên khuôn mặt của Paul Broca [12] vào năm 1867. Tuy nhiên công trình hoàn thiện đầu tiên và chính thức được ghi nhận thuộc về nhà khoa học Nga, Gerasimov [33]. Mùa xuân năm 1950, Gerasimov đã đắp hoàn chỉnh tượng đầu dựa vào xác của một người đàn ông đã phân rã gần hết. Quá trình nghiên cứu và đắp tượng giúp Gerasimov chuẩn đoán đó là xác của một thanh niên khoảng 24-25 tuổi. Ảnh của tượng do ông đắp đã được gửi đi khắp nơi để tìm tung tích của người chết. Ít lâu sau một bà mẹ đã nhận ra đó là con mình, sinh năm 1925 và mất tích từ năm 1949. Sau việc này, phương pháp của Gerasimov được thừa nhận là một biện pháp kĩ thuật hình sự hiệu quả và đáng tin cậy. Nhà nhân chủng học, dân tộc học kiêm họa sĩ này được coi là cha đẻ của ngành khoa học về tái tạo khuôn mặt. Ngày nay với sự phát triển của ngành giải phẫu học cùng sự trợ giúp đắc lực của máy tính, việc tái tạo khuôn mặt được thực hiện nhanh chóng và hiệu quả hơn. Khoa học máy tính hiện đại thừa nhận tái tạo khuôn mặt là một lĩnh vực nghiên cứu hấp dẫn và đầy triển vọng bởi tính ứng dụng thực tiễn cao của bài toán. Nhiều hệ thống tái tạo khuôn mặt từ hộp sọ đã được phát triển như hệ thống do Björn Anderson và Martin Chương 1. Giới thiệu Nguyễn Đình Tư 2 Valfridson phát triển năm 2005 [6]; hệ thống của Kolja Kahler và Jörg Haber xây dựng vào năm 2003 [19]; phần mềm FACES của nhóm tác giả thuộc Đại học Salerno, Italy, năm 2004; hệ thống của nhà khoa học GosNIIAS, năm 2001. Ở Việt Nam cũng có một số tác giả đã nghiên cứu đặc điểm của hình thái sọ mặt người Việt Nam như GS Đỗ Xuân Hợp (Học viện Quân y), TS Lê Hữu Hưng (Trường Đại học Y khoa Hà Nội), GS Nguyễn Lân Cường (Viện khảo cổ Việt Nam), … Năm 2007, Viện Pháp y Quân đội đã phối hợp với Viện Công nghệ thông tin tổ chức hội thảo “Ứng dụng công nghệ thông tin trong khôi phục diện mạo khuôn mặt người dựa trên hình thái xương sọ mặt” để bước đầu có những tiếp cận với bài toán này cho người Việt [2]. Tuy nhiên tái tạo mô hình khuôn mặt dựa trên sự hỗ trợ của công nghệ thông tin thì chưa có nghiên cứu trong nước nào thực hiện. Do chưa được trang bị phương tiện kĩ thuật đầy đủ, chúng ta gặp rất nhiều khó khăn trong việc mô hình khuôn mặt bao gồm đầy đủ mối liên hệ giữa phần cứng và phần mềm của khuôn mặt từ các thông số về hộp sọ. Trên cơ sở đó chúng tôi quyết định nghiên cứu và phát triển một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng. Hệ thống sử dụng một mô hình khuôn mặt nguồn và các điểm đặc trưng nguồn trên khuôn mặt đó. Hệ thống sử dụng mô hình đa mạng RBF để biến đổi mô hình khuôn mặt nguồn này thành mô hình khuôn mặt đích. Mô hình đa mạng RBF này được huấn luyện bằng tập điểm đặc trưng nguồn và đích. Phần còn lại của khóa luận bao gồm 4 chương. Chương 2: trình bày tổng quan về các phương pháp tái tạo khuôn mặt và các kiến thức liên quan, như giải phẫu khuôn mặt. Chương 3: mô tả chi tiết về hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt từ các điểm đặc trưng mà chúng tôi phát triển. Chương 4: trình bày về phương pháp xây dựng cơ sở dữ liệu thử nghiệm. Chương 5: tổng kết những kết quả đã đạt được và hướng phát triển tiếp theo. Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư 3 Chƣơng 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT Bài toán tái tạo khuôn mặt là một bài toán phức tạp, yêu cầu kiến thức của nhiều ngành liên quan như giải phẫu học, toán học và khoa học máy tính. Khuôn mặt con người có muôn hình vạn trạng, một hộp sọ có thể khớp với nhiều khuôn mặt khác nhau. Bên cạnh đó, việc thay đổi một chi tiết nhỏ, ví dụ thay đổi một chút về vị trí của một điểm đặc trưng, cũng có thể làm cho khuôn mặt dựng lại được khác đi nhiều. Ở khía cạnh toán học, đây là một bài toán ngược, có thể có nhiều lời giải. Tuy nhiên, chính sự phức tạp và tính ứng dụng thực tiễn cao của bài toán đã không ngừng thu hút sự quan tâm đặc biệt của các nhà nghiên cứu. Trong thực tế đã có nhiều phương pháp giải quyết từ nhiều góc độ nghề nghiệp khác nhau và cũng đã có những kết quả khả quan được ghi nhận. Trong chương này, chúng tôi trình bày cơ sở lý thuyết về giải phẫu khuôn mặt, các phương pháp biểu diễn mô hình khuôn mặt, sau đó chúng tôi trình bày các phương pháp tái tạo khuôn mặt dựa trên những nền tảng lý thuyết đó. 2.1 Giới thiệu chung về giải phẫu khuôn mặt 2.1.1 Xƣơng mặt và hộp sọ Hộp sọ mang nhiều tính chất và đặc điểm ảnh hưởng trực tiếp đến độ chính xác của việc tái tạo khuôn mặt. Ta cần nắm được đặc điểm và tính chất của hộp sọ để có thể tái tạo khuôn mặt một cách chuẩn xác hơn. Xương sọ mặt là xương có tầm quan trọng nhất trong việc cung cấp các thông tin về tuổi, giới tính, chủng tộc, và làm nền tảng quan trọng để xác định khuôn mặt. Sau đây là một số đặc điểm tổng quát về hộp sọ và xương mặt từ các nghiên cứu của Nguyễn Trọng Toàn [3][4].  Kích thước chính của hộp sọ được đặc trưng bởi: chiều cao, chiều rộng và chiều sâu.  8 đặc điểm chính của hộp sọ được mô tả theo chuẩn Quốc tế b