Luận văn Thử nghiệm phương pháp biến đổi khuôn mặt trên ảnh hai chiều

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ -------- Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ -------- Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hƣớng dẫn: TS. Bùi Thế Duy HÀ NỘI - 2009 I TÓM TẮT Khóa luận này đưa ra một phương pháp tạo chuyển động khuôn mặt trong không gian hai chiều. Sử dụng đầu vào là một bức ảnh mặt người ở trạng thái bình thường, phương pháp này sử dụng các phép biến đổi ảnh để thay đổi trạng thái cảm xúc của khuôn mặt, tạo cho khuôn mặt khả năng nói chuyện bằng tiếng Việt. Phương pháp của chúng tôi đưa ra chủ yếu dựa trên các phép bóp méo ảnh và cải tiến của nó. Mục tiêu của chúng tôi là tạo ra một khuôn mặt có những chuyển động chân thực kết hợp với việc tận dụng ưu điểm của đồ họa hai chiều trong tốc độ xử lý. Kết quả của phương pháp này là khá khả quan. Khuôn mặt đã có thể biểu lộ được những cảm xúc cơ bản và mô phỏng được các chữ cái trong tiếng Việt. II LỜI CẢM ƠN Trước hết, em xin được chân thành gửi lời cảm ơn tới thầy T.S Bùi Thế Duy vì đã chỉ bảo và hướng dẫn tận tình cho em trong suốt quá trình nghiên cứu và làm khóa luận này. Em cũng xin được cảm ơn các thầy cô của trường đại học Công Nghệ đã dạy dỗ và truyền đạt cho em những kiến thức quý báu trong suốt bốn năm học đại học. Cám ơn các bạn K50CA, K50KHMT và các bạn thuộc phòng tương tác người - máy vì những cuộc trao đổi thú vị. Cuối cùng, con xin được gửi tới bố mẹ và toàn thể gia đình những tình cảm thân thương nhất. Hà Nội 24/05/2009 Bùi Lê Hùng III MỤC LỤC TÓM TẮT ...................................................................................................................... I LỜI CẢM ƠN .............................................................................................................. II MỤC LỤC ................................................................................................................... III DANH MỤC HÌNH ẢNH .......................................................................................... VI DANH MỤC BẢNG BIỂU ..................................................................................... VIII Chƣơng 1 GIỚI THIỆU .................................................................................................................. 1 Chƣơng 2 HOẠT HÌNH KHUÔN MẶT ....................................................................................... 4 2.1.Mở đầu ......................................................................................................................... 4 2.2.Hoạt hình khuôn mặt 3D ............................................................................................... 4 2.2.1.Giới thiệu chung ..................................................................................................... 4 2.2.2.Mô hình hóa khuôn mặt ......................................................................................... 5 2.2.3.Mô hình hóa chuyển động ...................................................................................... 5 2.2.4.Mô hình cơ của Waters .......................................................................................... 7 2.3.Hoạt hình khuôn mặt 2D ............................................................................................... 8 2.3.1.Giới thiệu chung ..................................................................................................... 8 2.3.2.Phương pháp ghi lại video ..................................................................................... 9 2.3.3.Phương pháp dựa trên kỹ thuật 3D...................................................................... 11 2.4.Kết luận ...................................................................................................................... 14 Chƣơng 3 CÁC KỸ THUẬT BÓP MÉO ẢNH........................................................................... 15 3.1.Mở đầu ....................................................................................................................... 15 3.2.Phân loại kỹ thuật bóp méo ảnh theo phương pháp biến đổi ...................................... 16 3.2.1.Bóp méo ảnh thông qua việc sử dụng hàm số ..................................................... 16 3.2.2.Bóp méo ảnh bằng cách chia ảnh thành những đa giác nhỏ ................................ 23 3.2.3.Bóp méo ảnh dùng cho morphing ........................................................................ 28 3.3.Phân loại kỹ thuật bóp méo ảnh theo cách tạo ra ảnh đích ........................................ 29 IV 3.3.1.Mở đầu ................................................................................................................ 29 3.3.2.Bóp méo xuôi ....................................................................................................... 29 3.3.3.Bóp méo ngược ................................................................................................... 31 3.3.4.So sáng bóp méo xuôi và bóp méo ngược ........................................................... 32 3.4.Kết luận ...................................................................................................................... 32 Chƣơng 4 MÔ PHỎNG CHUYỂN ĐỘNG CỦA KHUÔN MẶT DỰA TRÊN CÁC KỸ THUẬT BÓP MÉO ẢNH ........................................................................................... 34 4.1.Mở đầu ....................................................................................................................... 34 4.2.Mô phỏng chuyển động xoay của xương hàm ............................................................ 34 4.2.1.Chuyển động của xương hàm .............................................................................. 34 4.2.2.Mô phỏng chuyển động........................................................................................ 35 4.3.Mô phỏng chuyển động của các cơ trên khuôn mặt ................................................... 39 4.3.1.Giới thiệu về cơ mặt ............................................................................................. 39 4.3.2.Mô phỏng chuyển động........................................................................................ 41 4.4.Xây dựng dựng hệ mô phỏng các cơ trên khuôn mặt ................................................. 42 4.5.Kết luận ...................................................................................................................... 46 Chƣơng 5 TẠO CẢM XÚC KHUÔN MẶT ................................................................................ 47 5.1.Mở đầu ....................................................................................................................... 47 5.2.Hệ mã hóa các cử động khuôn mặt (Facial Action Coding System - FACS) ............... 47 5.3.Những cảm xúc cơ bản .............................................................................................. 53 5.4.Xây dựng hệ thống các cảm xúc cho nhân vật ........................................................... 54 5.5.Kết luận ...................................................................................................................... 61 Chƣơng 6 XÂY DỰNG KHUÔN MẶT NÓI TIẾNG VIỆT ...................................................... 62 6.1.Mở đầu ....................................................................................................................... 62 6.2.Giới thiệu về âm vị và hình vị ..................................................................................... 62 6.3.Âm vị và hình vị trong tiếng Việt ................................................................................. 63 6.4.Xây dựng tập hợp các hình vị cho khuôn mặt............................................................. 64 6.5.Tạo chuyển động liên tục cho khuôn mặt khi nói chuyện ............................................ 65 V 6.6.Kết luận ...................................................................................................................... 65 Chƣơng 7 TỔNG KẾT .................................................................................................................. 67 TÀI LIỆU THAM KHẢO ........................................................................................... 69 VI DANH MỤC HÌNH ẢNH Hình 1 : Hai vợ chồng nhà “chằn tinh” Shrek ................................................................. 1 Hình 2 : Mô hình CANDIDE (1987) và mô hình Greta (2001) ...................................... 5 Hình 3 : Mô hình cơ vector của Waters........................................................................... 7 Hình 4 : Mô hình cơ mảng của Waters ............................................................................ 8 Hình 5 : Mô hình cơ vòng của Waters............................................................................. 8 Hình 6 : Tổng quan của quá trình thu thập âm vị và hình vị ......................................... 10 Hình 7 : Tổng quan của quá trình tổng hợp video mới ................................................. 10 Hình 8 : Cách thức thực hiện ......................................................................................... 12 Hình 9 : Một số kết quả ................................................................................................. 13 Hình 10 : Ví dụ phép kéo .............................................................................................. 17 Hình 11 : Ví dụ phép biến đổi Affine ............................................................................ 18 Hình 12 : Ví dụ phép chiếu ............................................................................................ 18 Hình 13 : Ảnh ban đầu ................................................................................................... 19 Hình 14 : Ảnh bị biến đổi bởi công thức r = sqrt (r) .................................................... 20 Hình 15 : Ảnh bị biến đổi bởi công thức r = 2 arcsin(r) / p ......................................... 20 Hình 16 : Ảnh bị biến đổi bởi công thức r = sin (pi. r / 2) ........................................... 21 Hình 17 : Ảnh bị biến đổi bởi công thức r = r2 ............................................................. 21 Hình 18 : Ảnh bị biến đổi bởi công thức x = sin(pi.x / 2) và y = sin(pi.y / 2) .............. 22 Hình 19 : Ảnh bị biến đổi bởi công thức x = 2 asin(x) / pi và y = 2 asin(y) / pi ........... 22 Hình 20 : Ảnh gốc và ảnh bị biến đổi ............................................................................ 23 Hình 21 : Một số kiểu biến đổi ảnh (kiểu 'mắt cá', kiểu 'xoáy', kiểu 'mưa') .................. 23 Hình 22 : Hệ tọa độ Barycentric với tam giác .............................................................. 24 Hình 23 : Xác định tọa độ điểm tương ứng với P‟ trên ảnh ban đầu............................. 25 Hình 24 : Xác định tọa độ các điểm bằng hệ tọa độ Barycentric .................................. 25 Hình 25 : Phương pháp bóp méo tứ giác ....................................................................... 26 Hình 26 : Ảnh ban đầu với các vector để bóp méo ảnh ................................................ 27 Hình 27 : Ảnh sau khi bóp méo theo các vector ........................................................... 27 Hình 28 : Bức ảnh morphing giữa George.W.Bush và Arnold Schwarzenegger ......... 28 Hình 29 : Phương pháp morphing ................................................................................. 29 Hình 30 : Bóp méo xuôi cho ảnh ................................................................................... 30 Hình 31 : Mô tả thuật toán bóp méo xuôi ...................................................................... 30 Hình 32 : Vấn đề của bóp méo xuôi .............................................................................. 31 Hình 33 : Bóp méo ngược cho ảnh ................................................................................ 31 Hình 34 : Vấn đề của bóp méo ngược ........................................................................... 32 Hình 35 : Điểm xoay xương hàm .................................................................................. 35 Hình 36 : Ước lượng trục quay của hàm ....................................................................... 36 Hình 37 : Môi của nhân vật ........................................................................................... 37 VII Hình 38 : Hình ảnh của môi dưới sau phép xoay .......................................................... 38 Hình 39 : Ảnh trước và sau khi thực hiện kỹ thuật bóp méo môi trên .......................... 38 Hình 40 : Môi mở ra với các góc ϕ = 0, ϕ = pi / 20, ϕ = pi / 15, ϕ = pi / 10 ................. 39 Hình 41 : Trạng thái ban đầu - Trước khi sử dụng phép bóp méo cho cằm - Sau khi sử dụng phép bóp méo cho cằm ......................................................................................... 39 Hình 42 : Các cơ trên khuôn mặt (khi nhìn thẳng) ........................................................ 40 Hình 43 : Các cơ trên khuôn mặt (khi nhìn ngang) ....................................................... 40 Hình 44 : Phép bóp méo tứ giác tạo nụ cười nửa miệng với cơ khóe miệng ................ 41 Hình 45 : Phép bóp méo tứ giác làm mắt mở rộng hơn với cơ mắt .............................. 41 Hình 46 : Một số hình dáng của môi ............................................................................. 42 Hình 47 : Hệ các cơ được chương trình xây dựng dựa theo .......................................... 42 Hình 48 : Tác động của 2 cơ nén môi trên và môi dưới ................................................ 44 Hình 49 : Tác động của cơ kéo khóe miệng xuống ....................................................... 44 Hình 50 : Tác động của cơ kéo khóe miệng lên ............................................................ 44 Hình 51 : Tác động của cơ kéo cánh mũi lên ................................................................ 44 Hình 52 : Tác động của cơ nâng lông mày bên mắt trái ................................................ 44 Hình 53 : Tác động của cơ kéo lông mày xuống ........................................................... 44 Hình 54: Tác động của cơ thu nhỏ mắt lại .................................................................... 45 Hình 55 : Tác động của cơ cằm ..................................................................................... 45 Hình 56 : Mức độ co giãn của cơ kéo khóe môi xuống từ trạng thái bình thường cho đến trạng thái giãn tối đa ............................................................................................... 45 Hình 57 : Cảm giác ngạc nhiên 50% và 100% .............................................................. 55 Hình 58 : Cảm giác sợ hãi 50% và 100% ...................................................................... 56 Hình 59 : Cảm giác ghê tởm 70% và 100% .................................................................. 57 Hình 60 : Cảm giác tức giận 40% và 100% .................................................................. 58 Hình 61 : Cảm giác hạnh phúc 50% và 100% ............................................................... 59 Hình 62 : Cảm giác buồn bã 60% và 100% .................................................................. 60 Hình 63 : Hình thang nguyên âm .................................................................................. 63 Hình 64 : Các hình vị tương ứng của a|ă|â và e|ê và o ................................................. 64 Hình 65 : Các hình vị tương ứng của ô và ơ và oo ........................................................ 64 Hình 66 : Các hình vị tương ứng của u và ư ................................................................. 65 Hình 67 : Các hình vị tương ứng của b|m|p và v|ph và các phụ âm còn lại ................. 65 VIII DANH MỤC BẢNG BIỂU Bảng 1 : Hệ Thống Các Cơ Được Sử Dụng Trong Chương Trình ............................... 43 Bảng 2 : Hệ Mã Hóa Các Cử Động Khuôn Mặt (FACS) .............................................. 48 Bảng 3 : Danh Sách Các AU Tạo Nên Các Cảm Xúc Cơ Bản ..................................... 53 - 1 - Chƣơng 1 GIỚI THIỆU Dẫn nhập Năm 2001, khi phần đầu tiên của bộ phim hoạt hình Shrek ra đời, tổng doanh thu mà bộ phim đạt được là gần 500 triệu đô. Năm 2004, Shrek II ra mắt và thu về hơn 900 triệu. Ba năm sau đó, Shrek III tiếp tục thắng lợi lớn và mang lại cho đoàn làm phim gần 800 triệu đô la. Hình 1 : Hai vợ chồng nhà “chằn tinh” Shrek Điều gì khiến cho gã chằn tinh xấu xí và đáng sợ như Shrek lại có thể giành được nhiều tình cảm từ khán giả đến vậy ? Chúng ta thường xuyên xem những bộ phim do con người đóng, thật khó để có thể tìm được một diễn viên nào có ngoại hình như Shrek mà lại có thể mang về một loạt ba phim với doanh thu lên đến hàng trăm triệu đô. Câu trả lời có lẽ nằm ở nhiều khía cạnh như tính cách tốt bụng, bản chất chân thật của Shrek nhưng có lẽ yếu tố quan trong nhất chính là chúng ta cảm thấy đồng cảm với Shrek. Nhìn vào bức ảnh trên, thật khó để không có cảm tình với anh chàng chằn tinh xấu xí nhưng tốt bụng này. Cùng với sự thành công của một số bộ phim hoạt hình khác như Gia Đình Nhà Siêu Nhân (The Incredibles), Robot biết yêu (Wall-e)… lĩnh vực hoạt hình mà trung tâm là việc tạo ra các nhân vật hoạt hình đang nhận được sự quan tâm lớn. - 2 - Cũng liên quan đến các nhân vật ảo, nhưng không phải nhân vật hoạt hình mà là các nhân vật trong máy tính. Thế giới của các trò chơi nhập vai đang phát triển hơn lúc nào hết khi người chơi bật máy tính lên là có thể giao tiếp với các nhân vật ảo mà cảm giác như đang sống trong thế giới thực (Second Life, The Sims, Fallout 3). Hãng Umanify đã đưa ra một ứng dụng cho máy Nokia khi giúp cho người dùng mỗi khi xuất hiện một tin nhắn lại có một nhân vật xuất hiện đọc tin cho bạn. Có thể nói, ứng dụng của việc xây dựng lên các nhân vật ảo trong cuộc sống ngày nay là vô cùng lớn. Để xây dựng lên một nhân vật ảo cần sự kết hợp của nhiều lĩnh vực như trí tuệ nhân tạo, đồ họa máy tính, xử lý ngôn ngữ tự nhiên… Đối với lĩnh vực đồ họa máy tính, việc xây dựng lên một nhân vật như Shrek đòi các thiết bị cấu hình cao và nhiều công sức của con người. Bởi người xem muốn thấy một nhân vật có cách nói chuyện truyền cảm, những cử động uyển chuyển và có khả năng bộc lộ ra những cảm xúc chân thực và tinh tế. Còn với nhân vật như của Umanify, yêu cầu đầu tiên là nhân vật có thể nói chuyện được và có khả năng chạy trên nền tảng các thiết bị không có cấu hình cao như điện thoại di động. Để xây dựng nên một nhân vật ảo toàn diện, chúng ta cần xây dựng ba phần như sau :  Một khuôn mặt có khả năng nói chuyện và bộc lộ những cảm xúc  Một cơ thể có khả năng thể hiện những cử chỉ  Một trí tuệ bao gồm những suy nghĩ, tình cảm, động lực, hành vi, tính cách… của nhân vật Lĩnh vực đồ họa máy tính giải quyết bài toán xây dựng khuôn mặt và cơ thể. Trong đó khuôn mặt luôn nhận được nhiều sự quan tâm hơn. Lý do là bởi khuôn mặt là nơi giao tiếp, nói chuyện và bộc lộ những cảm xúc. Nhìn vào khuôn mặt ta có thể thu được nhiều thông tin hơn. Xét cho cùng, khi quan sát một nhân vật ảo, chúng ta không quan sát tay chân của nhân vật nhiều hơn khuôn mặt của nhân vật đó. Có nhiều phương pháp để tạo chuyển động cho khuôn mặt đặc biệt là trên không gian 3D. Tuy vậy, các phương pháp được áp dụng ngày nay trên không gian 3D đều đòi hỏi những xử lý tính toán phức tạp yêu cầu máy cấu hình cao về