Khóa luận Chuỗi đặc trưng âm thanh và ứng dụng trong tìm kiếm nhạc số

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Thanh Xuân CHUỖI ĐẶC TRƯNG ÂM THANH VÀ ỨNG DỤNG TRONG TÌM KIẾM NHẠC SỐ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI – 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Thanh Xuân CHUỖI ĐẶC TRƯNG ÂM THANH VÀ ỨNG DỤNG TRONG TÌM KIẾM NHẠC SỐ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán bộ hướng dẫn: TS. Nguyễn Hải Châu HÀ NỘI – 2009 LỜI CẢM ƠN Trong thời gian qua, để tìm hiểu và hoàn thành khóa luận tốt nghiệp này tôi đã nhận được nhiều sự giúp đỡ từ gia đình, thầy cô và bạn bè. Tôi xin được bày tỏ lòng biết ơn chân thành đến các thầy cô giáo trường Đại Học Công Nghệ đã dậy dỗ tôi trong suốt bốn năm học vừa qua. Đặc biệt, tôi xin được gửi lời cảm ơn chân thành đến TS. Nguyễn Hải Châu, người đã giúp tôi lựa chọn đề tài, hướng dẫn tìm tài liệu, đưa ra những nhận xét quan trọng và sửa chữa sai sót giúp tôi trong quá trình tôi thực hiện đề tài. Tôi cũng xin được gửi lời cảm ơn đến những người bạn đã luôn quan tâm giúp đỡ tôi, chia sẻ nhiều kinh nghiệm hay với tôi trong quá trình học tập và làm việc. Cuối cùng, tôi xin được gửi lời cảm ơn sâu sắc đến gia đình tôi, những người đã luôn bên cạnh cổ vũ, động viên tôi, tạo mọi điều kiện tốt nhất giúp tôi hoàn thành tốt khóa luận này. TÓM TẮT NỘI DUNG Những năm gần đây đã chứng kiến sự phát triển mạnh mẽ của khoa học và ngành công nghiệp tính toán các đặc trưng của các đối tượng đa phương tiện. Khái niệm chuỗi đặc trưng âm thanh ra đời có ý nghĩa quan trọng trong việc phát triển các ứng dụng liên quan đến âm thanh nhờ đó mang lại rất nhiều tiện ích cho cuộc sống hiện đại của con người. Một trong những ứng dụng của chuỗi đặc trưng âm thanh đang rất được quan tâm hiện nay là nhận dạng nhạc số. Trên thế giới đã có rất nhiều ứng dụng về nhận dạng nhạc được phát triển với các phương pháp khác nhau và thu được những kết quả khác nhau, song không phải tất cả các trong số chúng đều trả về kết quả chính xác. Trên cơ sở nghiên cứu về chuỗi đặc trưng âm thanh và những ứng dụng của nó, khóa luận này hướng đến việc xây dựng một hệ thống nhận dạng nhạc rất tiện ích với người dùng cho phép trả về thông tin chính xác của một bản nhạc được chơi qua một thiết bị di động chỉ với vài giây âm thanh. Khóa luận tốt nghiệp này được thực hiện trong khuôn khổ đề tài nghiên cứu mang mã số QC.08.01 Đại học Quốc gia Hà Nội. MỤC LỤC LỜI MỞ ĐẦU...........................................................................................................1 CHƯƠNG 1: TỔNG QUAN VỀ CHUỖI ĐẶC TRƯNG ÂM THANH VÀ CÁC ỨNG DỤNG .............................................................................................................3 1.1 Giới thiệu.........................................................................................................3 1.2 Các khái niệm chuỗi đặc trưng âm thanh........................................................3 1.2.1 . Định nghĩa chuỗi đặc trưng âm thanh ...................................................3 1.2.2 . Các tham số của hệ thống chuỗi đặc trưng âm thanh.............................5 1.3 Các ứng dụng ..................................................................................................6 1.3.1 . Broadcast Monitoring (BM)...................................................................6 1.3.2 . Ứng dụng liên thông âm thanh ...............................................................6 1.3.3 . Công nghệ lọc chia sẻ file ......................................................................7 1.3.4 . Tổ chức thư viện âm nhạc tự động .........................................................8 CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÂY DỰNG VÀ TÌM KIẾM CHUỖI ĐẶC TRƯNG ÂM THANH ..............................................................................................9 2.1. Nguyên tắc cơ bản xây dựng hệ thống chuỗi đặc trưng âm thanh.................9 2.2. Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng trong ứng dụng nhận dạng nhạc.............................................................................................................10 2.2.1. Phương pháp xây dựng hệ thống chuỗi đặc trưng mạnh.......................10 2.2.1.1. Trích rút chuỗi đặc trưng ................................................................10 2.2.1.2. Tìm kiếm chuỗi đặc trưng trong cơ sở dữ liệu ...............................16 2.2.2. Phương pháp xây dựng và tìm kiếm chuỗi đặc trưng dựa trên waveprint ..........................................................................................................21 2.2.2.1. Trích rút chuỗi đặc trưng ................................................................21 2.2.2.2. Tìm kiếm chuỗi đặc trưng...............................................................25 CHƯƠNG 3: ỨNG DỤNG THỬ NGHIỆM .........................................................27 3.1. Phát biểu bài toán.........................................................................................27 3.2. Tổng quan hệ thống .....................................................................................27 3.2.1. Mô tả âm thanh và trích rút chuỗi đặc trưng ........................................28 3.2.2. Tìm kiếm chuỗi đặc trưng phù hợp.......................................................29 3.3. Thực thi chương trình ..................................................................................31 3.4. Đánh giá hiệu quả của ứng dụng thử nghiệm..............................................32 3.4.1. Cài đặt thử nghiệm ................................................................................32 3.4.2. Hiệu quả của hệ thống...........................................................................33 KẾT LUẬN.............................................................................................................36 TÀI LIỆU THAM KHẢO ......................................................................................37 1 LỜI MỞ ĐẦU Trong thực tế có khi chúng ta sẽ gặp phải một tình huống thế này: bạn đang ngồi trong xe ô tô nghe radio, đang trên xe bus hoặc trong quán cà phê nghe nhạc và bỗng nhiên bạn nghe được một bài hát rất thu vị. Đó là bài hát mới rất hay mà bạn từng được nghe sau một khoảng thời gian dài, nhưng bạn đã bỏ lỡ mất phần thông tin về bài hát và không nhận ra nghệ sĩ đang biểu diễn bài hát đó. Mặc dù vậy bạn vẫn muốn biết một số thông tin về bản nhạc này. Khi đó bạn nên làm gì? Bạn có thể gọi đến đài phát thanh để hỏi hay hỏi những người xung quanh nhưng đôi khi điều đó hơi bất tiện. Nếu bạn có thể nhấn một vài phím trên điện thoại di động và vài giây sau điện thoại sẽ trả lời cho bạn tên của nghệ sĩ và tên của bản nhạc mà bạn đang nghe thì có phải tốt hơn không? Thậm chí có thể có một email sẽ được gửi đến hòm thư của bạn với một vài thông tin được bổ sung thêm. Xuất phát từ nhu cầu thiết thực đó, nhiều phần mềm nhận dạng nhạc kiểu này dựa trên các công nghệ khác nhau đã ra đời tuy nhiên không nhiều trong số đó đáp ứng tốt mong muốn của người dùng và trở nên phổ biến. Trong khóa luận này sẽ thảo luận về hệ thống chuỗi đặc trưng âm thanh – một nền tảng quan trọng có thể giúp tạo ra viễn cảnh như chúng ta vừa đề cập bên trên. Bằng cách sử dụng chuỗi đặc trưng (fingerprint) của một đoạn âm thanh chưa biết như một truy vấn trong cơ sở dữ liệu chuỗi đặc trưng, cơ sở dữ liệu này chứa các chuỗi đặc trưng của một thư viện rất nhiều bài hát, và khi đó đoạn âm thanh có thể được xác định. Điểm cốt lõi của vấn đề được trình bày là phương pháp trích rút chuỗi đặc trưng và chiến lược tìm kiếm chuỗi đặc trưng rất hiệu quả, nó cho phép tìm kiếm một cơ sở dữ liệu chuỗi đặc trưng lớn chỉ với những tài nguyên tính toán gới hạn. Khóa luận gồm ba chương: Chương 1: Tổng quan về chuỗi đặc trưng âm thanh và các ứng dụng. Chương này trình bày một cách tổng quan nhất những khái niệm cơ bản liên quan đến chuỗi đặc trưng âm thanh và những ứng dụng phổ biến của chuỗi đặc trưng âm thanh. Chương 2: Các phương pháp xây dựng và tìm kiếm chuỗi đặc trưng âm thanh. Trình bày hai phương phát trích rút và tìm kiếm chuỗi đặc trưng âm thanh phổ biến hiện nay trong các ứng dụng nhận dạng nhạc là phương pháp xây dựng chuôi đặc trưng mạnh và phương pháp xây dựng chuỗi đặc trưng dựa trên wavelet 2 Chương 3: Ứng dụng thử nghiệm. Chương này trình bày một ứng dụng cụ thể của chuỗi đặc trưng âm thanh trong một lĩnh vực đang rất được quan tâm hiện nay đó là nhận dạng nhạc số. Trong này sẽ mô tả khái quát về chương trình thử nghiệm của ứng dụng nhận dạng nhạc và những kết quả đạt được 3 CHƯƠNG 1: TỔNG QUAN VỀ CHUỖI ĐẶC TRƯNG ÂM THANH VÀ CÁC ỨNG DỤNG 1.1 Giới thiệu Chuỗi đặc trưng âm thanh là một tập các thuộc tính của âm thanh được dùng để xác định các dạng khác nhau của âm thanh bao gồm âm nhạc, phát thanh radio và các tác động khác tới âm thanh. Mục tiêu đầu tiên của chuỗi đặc trưng âm thanh là thiết lập trạng thái bằng nhau của hai đối tượng âm thanh: không phải bằng cách so sánh chính hai đối tượng đó mà bằng cách so sánh những chuỗi đặc trưng liên kết của nó. Trong hầu hết các hệ thống sử dụng công nghệ chuỗi đặc trưng, các chuỗi đặc trưng của một số lượng lớn các đối tượng âm thanh cùng với siêu dữ liệu (ví dụ tên của nghệ sĩ, tên album) được lưu trữ trong một cơ sở dữ liệu. Các chuỗi đặc trưng đáp ứng như một chỉ mục đến siêu dữ liệu. Siêu dữ liệu của nội dung âm thanh chưa được xác định sau đó sẽ được phục hồi lại bằng cách tính toán một chuỗi đặc trưng và sử dụng nó như truy vấn trong cơ sở dữ liệu chuỗi đặc trưng/siêu dữ liệu. Ưu điểm của việc sử dụng chuỗi đặc trưng thay cho chính đối tượng âm thanh là: 1. Giảm bớt yêu cầu bộ nhớ lưu trữ vì các chuỗi đặc trưng tương đối nhỏ. 2. So sánh hiệu quả vì sự không đồng đều được loại bỏ bởi chuỗi đặc trưng. 3. Tìm kiếm hiệu quả vì tập dữ liệu (dataset) để tìm kiếm là nhỏ hơn. Vì những kết luận trên một hệ thống chuỗi đặc trưng nói chung bao gồm hai thành phần: một phương pháp để trích ra chuỗi đặc trưng và một phương pháp để tìm kiếm hiệu quả những chuỗi đặc trưng phù hợp trong cơ sở dữ liệu chuỗi đặc trưng. 1.2 Các khái niệm chuỗi đặc trưng âm thanh 1.2.1 . Định nghĩa chuỗi đặc trưng âm thanh Độ hồi tưởng (recall) một chuỗi đặc trưng âm thanh có thể được xem như một tóm tắt ngắn của một đối tượng âm thanh. Vì thế một hàm chuỗi đặc trưng F ánh xạ (map) một đối tượng âm thanh X – bao gồm một số lượng lớn các bit – đến chuỗi đặc trưng chỉ gồm một số lượng bit giới hạn. Ở đây chúng ta có thể thấy sự tương tự với các hàm băm đã được biết đến trong công nghệ mã hóa. Một hàm băm mật mã H rút ra từ một đối tượng X (thường là 4 lớn) thành giá trị băm (thường là nhỏ). Một hàm băm mật mã cho phép so sánh hai đối tượng X và Y bằng cách so sánh các giá trị băm tương ứng là H(X) và H(Y). Sự bằng nhau chính xác về mặt toán học của cặp H(X), H(Y) đưa đến sự bằng nhau của cặp X và Y với xác xuất xẩy ra lỗi rất thấp. Đối với hàm băm mật mã được xây dựng hợp lệ thì xác xuất này là 2-n, trong đó n bằng số bit của giá trị băm. Sử dụng các hàm băm mật mã là một phương pháp hiệu quả hiện có để kiểm tra các dữ liệu cụ thể của mục X có chứa trong tập dữ liệu lớn được đưa ra là }{ i:Y = hay không. Thay vì lưu trữ và so sánh với tất cả dữ liệu trong Y thì chỉ cần lưu trữ thành tập các giá trị băm { )( ii YHh = } và so sánh H(X) với tập các giá trị băm. Nếu như thế có thể ta nghĩ rằng các hàm băm mật mã là một ứng cử tốt cho các hàm chuỗi đặc trưng. Tuy nhiên với độ hồi tưởng được giới thiệu bên trên, thay vì sự bằng nhau chính xác về mặt toán học, chúng ta quan tâm đến đặc điểm tương tự nhau. Ví dụ, chất lượng của bản CD gốc của Rolling Stones-Angie và bản MP3 ở tốc độ 128Kb/s giống nhau với cơ quan thính giác của con người nhưng sóng của chúng có thể khá là khác nhau. Mặc dù hai bản nhạc đó có cảm giác là giống nhau nhưng về mặt toán học chúng khác nhau. Vì thế các hàm băm mật mã không thể đưa ra quyết định dựa trên sự bằng nhau trực giác của hai bản đó. Một câu hỏi khác được đặt ra là: “Có thể tạo ra một hàm chuỗi đặc trưng mà cung cấp các chuỗi đặc trưng bằng nhau cho những đối tượng giống nhau về mặt cảm giác không?” Câu hỏi là rất hợp lý nhưng câu trả lời là mô hình cho sự giống nhau cảm giác về cơ bản là không thực hiện được. Sự giống nhau cảm giác của cặp đối tượng X và Y và cặp đối tượng khác Y và Z không nhất thiết bao hàm sự giống nhau của cặp đối tượng X và Z. Việc đưa ra những lý lẽ trên mục đích là đề xuất cách xây dựng một hàm chuỗi đặc trưng theo cách mà các đối tượng âm thanh giống nhau về mặt cảm giác đưa đến kết quả là những chuỗi đặc trưng giống nhau. Hơn nữa, để có thể phân biệt giữa những đối tượng âm thanh khác nhau, phải có xác xuất mà các đối tượng âm thanh không giống nhau đưa đến những chuỗi đặc trưng không giống nhau là rất cao. Chính xác hơn, cho hàm chuỗi đặc trưng F đã được xây dựng, điểm bắt đầu T với xác xuất lớn ||F(X)-F(Y)|| ≤ T nếu các đối tượng X và Y là giống nhau và ||F(X)- F(Y)|| > T khi chúng khác nhau. 5 1.2.2 . Các tham số của hệ thống chuỗi đặc trưng âm thanh Bên trên ta đã có một định nghĩa thích hợp của chuỗi đặc trưng âm thanh, phần này trình bày về các tham số khác nhau của một hệ thống chuỗi đặc trưng âm thanh. Các tham số chính là: • Độ mạnh (Robustness): Liệu một đoạn âm thanh vẫn có thể được xác định sau khi tín hiệu bị suy biến mạnh không? Để đạt được độ mạnh cao chuỗi đặc trưng nên dựa trên cơ sở những đặc điểm thuộc tri giác không đổi (ít nhất là đến một mức độ nào đó) với sự suy biến của tín hiệu. Tốt nhất là âm thanh bị suy biến vẫn đưa đến những chuỗi đặc trưng rất giống nhau. Tỷ lệ phủ định sai (false negative rate) nói chung được dùng để diễn đạt độ mạnh. • Độ tin cậy (Reliability): Bao lâu một lần thì một bài hát bị nhận dạng sai? Ví dụ “Rolling Stones – Angie” bị nhận dạng là “Beatles – Yesterday”. Tỷ lệ mà tại đó tham số này được chỉ ra thường được tham chiếu đến như là tỷ lệ khẳng định sai. • Cỡ chuỗi đặc trưng (Fingerprint size): một chuỗi đặc trưng cần dung lượng lưu trữ là bao nhiêu? Để có thể tìm kiếm nhanh, các chuỗi đặc trưng thường được lưu trong bộ nhớ RAM. Vì thế cỡ của chuỗi đặc trưng, thường được biểu diễn bằng bit/giây hoặc bit/bài hát, xác định độ lớn của tài nguyên bộ nhớ cần cho server cơ sở dữ liệu chuỗi đặc trưng. • Granularity: Cần bao nhiêu giây âm thanh để nhận ra một đoạn âm thanh? Granularity là một tham số có thể phụ thuộc vào từng ứng dụng cụ thể. Trong một vài ứng dụng thì toàn bộ bài hát có thể được dùng để nhận dạng, trong những ứng dụng khác thì chỉ một đoạn trích ngắn của âm thanh được dùng để xác định. • Tốc độ tìm kiếm và khả năng mở rộng (Search speed and scalability): Mất bao lâu để tìm ra một chuỗi đặc trưng trong cơ sở dữ liệu chuỗi đặc trưng? Phải làm gì nếu cơ sở dữ liệu chứa hàng trăm nghìn bài hát? Đối với sự triển khai về mặt thương mại của các hệ thống chuỗi đặc trưng âm thanh, tốc độ tìm kiếm và khả năng mở rộng của hệ thống là yếu tố then chốt. Tốc độ tìm kiếm nên là khoảng mili giây cho cơ sở dữ liệu chứa khoảng 100000 bài hát và chỉ sử dụng nguồn tài nguyên tính toán giới hạn Năm tham số cơ bản này có ảnh hưởng lẫn nhau. Ví dụ, nếu một ứng dụng muốn granularity thấp hơn thì nó cần trích ra một chuỗi đặc trưng lớn hơn để thu 6 được cùng độ tin cậy. Điều này là vì tỷ lệ khẳng định sai nghịch đảo liên quan đến cỡ chuỗi đặc trưng. Một ví dụ khác: tốc độ tìm kiếm nói chung sẽ tăng lên khi một ứng dụng được xây dựng với chuỗi đặc trưng mạnh (robust) hơn. Điều này là vì tìm kiếm chuỗi đặc trưng là phép tìm kiếm xấp xỉ. Giả sử một chuỗi đặc trưng tương tự vừa được tìm thấy, nếu các thuộc tính càng mạnh hơn thì độ xấp xỉ càng nhỏ hơn. Vì thế tốc độ tìm kiếm có thể được tăng lên đáng kể. 1.3 Các ứng dụng 1.3.1 . Broadcast Monitoring (BM) BM hầu như là ứng dụng nổi tiếng nhất của chuỗi đặc trưng âm thanh. BM là giải pháp phù hợp để dò tìm, giám sát các bài hát, các quảng cáo và kiểm tra các chương trình phát thanh. Nó đề cập đến việc tạo ra danh sách (playlist) tự động của radio, ti vi hoặc truyền hình web, truyền hình vệ tinh, trong số đó mục đích là tập hợp tiền bản quyền, kiểm tra chương trình, kiểm tra quảng cáo và đo số người sử dụng. Khi bạn cần giám sát hai đài phát hoặc thậm chí hai nghìn đài phát, hệ thống sẽ cung cấp những danh sách (playlist) và các bản báo cáo cùng các chỉ dẫn kỹ thuật phù hợp. Một hệ thống BM quy mô lớn trên nền tảng chuỗi đặc trưng bao gồm vài site giám sát (monitoring ) và một site trung tâm ở nơi mà server chuỗi đặc trưng được đặt. Ở các site monitoring các chuỗi đặc trưng được rút ra từ tất cả các kênh truyền thanh truyền hình (cục bộ). Site trung tâm thu thập các chuỗi đặc trưng đó từ các site monitoring. Rồi sau đó, server chuỗi đặc trưng – chứa một cơ sở dữ liệu chuỗi đặc trưng khổng lồ - cung cấp các playlist cho tất cả các kênh truyền thanh và truyền hình đó. 1.3.2 . Ứng dụng liên thông âm thanh Ứng dụng liên thông âm thanh là thuật ngữ chung cho những ứng dụng tiêu dùng mà ở đó âm nhạc được kết nối theo cách này hay cách khác để đưa ra và hỗ trợ thông tin. Một ví dụ đã được đưa ra trong phần trên là sử dụng một điện thoại di động để xác định một bài hát. Trong thực tế công việc này hiện đang được tiếp tục thực hiện bởi một số công ty như Shazam, Yacast. Tín hiệu âm thanh trong ứng dụng này bị suy biến trở lên rất xấu bởi vì quá trình xử lý áp dụng đài phát thanh, truyền trên FM/AM, đường dẫn âm thanh giữa loa phóng thanh và micro của điện thoại di 7 động, mã hóa âm thanh và cuối cùng truyền trên mạng di động. Vì thế nhìn nhận về mặt công nghệ thì đây là 1 ứng dụng đầy thách thức. Những ví dụ khác về ứng dụng liên thông âm thanh là radio của ô tô với một nút để nhận dạng bản nhạc đang nghe hoặc các ứng dụng “nghe” luồng âm thanh vào hoặc ra trên một máy tính. Bằng cách nhấn vào nút “info” trong ứng dụng chuỗi đặc trưng, người dùng có thể điều hướng đến một trang trên Internet chứa thông tin về nghệ sĩ biểu diễn, tên bài hát, tên album. Hoặc nhấn vào nút “buy” người dùng có thể mua album trên Internet. Nói cách khác, chuỗi đặc trưng âm thanh có thể cung cấp một hệ thống liên kết chung cho tất cả những nội dung âm thanh. 1.3.3 . Công nghệ lọc chia sẻ file Ví dụ điển hình cho công nghệ lọc để chia sẻ file là Napster. Bắt đầu vào tháng 6 năm 1999, người dùng tải về Napster client có thể chia sẻ và tải về được một bộ sưu tập nhạc miễn phí rất lớn. Sau đó, vì vấn đề pháp lý trong ngành công nghiệp âm nhạc, người dùng Napster bị cấm tải về những bài hát có bản quyền. Vì thế vào tháng 3 năm 2001 Napster thiết lập một bộ lọc âm thanh trên cơ sở là tên file để ngăn cản việc tải những bài hát có bản quyền (sử dụng công nghệ lọc dựa trên văn bản để lọc tên các bài hát). Bộ lọc đó không hiệu quả, bởi vì người dùng bắt đầu cố ý viết sai chính tả tên file. Vào tháng 5 năm 2001 Napster giới thiệu hệ thống chuỗi đặc trưng âm thanh bởi Relatable, nó hướng vào việc lọc ra những thành phần có bản quyền dựa trên nội dung âm thanh vì thế thậm chí nếu chúng có bị viết sai chính tả thì vẫn bị nhận ra. Napster bị khai tử chỉ hai tháng sau đó. Trong một dịch vụ chia sẻ file hợp pháp ứng dụng có thể áp dụng lên lịch lọc chi tiết hơn là việc chỉ lọc được những thành phần có bản quyền. Mặc dù từ quan điểm của một người tiêu dùng, bộ lọc âm thanh có thể được xem như một công nghệ không được mong đợi nhưng cũng có một số lợi ích tiềm năng đối với người tiêu dùng. Đầu tiên nó có thể tổ chức tên của các bài hát trong các kết quả tìm kiếm theo một cách phù hợp bằng cách sử dụng siêu dữ liệu đáng tin cậy của cơ sở dữ liệu chuỗi đặc trưng. Thứ hai, chuỗi đặc trưng có thể đảm bảo rằng những bài