Tóm tắt luận văn Nghiên cứu và xây dựng hệ thống hỏi đáp hướng miền ứng dụng

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- Trương Tài Ba NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG HỎI ĐÁP HƯỚNG MIỀN ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS.TS. Lê Thanh Hương. Viện công nghệ thông tin và truyền thông - Trường Đại học Bách Khoa Hà Nội. Phản biện 1: …………………………………………………………………………………………… Phản biện 2: …………………………………………………………………………………………… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: ....... giờ ....... ngày ....... tháng ....... .. năm ............... Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 PHẦN I. MỞ ĐẦU Tìm kiếm luôn là một trong những bài toán quan trọng trong việc lưu trữ và tổ chức dữ liệu. Các máy tìm kiếm như Google, Bing…ra đời đã tạo nên cuộc cách mạng lớn trong việc tìm kiếm thông tin trên Internet. Tuy nhiên, những máy tìm kiếm này trong một số trường hợp không phù hợp với yêu cầu thực tế do kết quả trả về cho người dùng quá lớn (thường lên đến hàng triệu bản ghi). Do đó, người dùng sẽ rất khó tìm kiếm được thông tin hữu ích trong lượng thông tin đồ sộ như vậy. Thu thập, xử lý và khai thác thông tin theo một miền ứng dụng cụ thể sao cho hiệu quả đang là một vấn đề mới mẻ và thú vị trong lĩnh vực khai phá dữ liệu. Bài toán có ý nghĩa lớn đối với nhu cầu tiếp cận thông tin của con người. Trong luận văn này sẽ đề cập đến việc sử dụng các kỹ thuật trích rút thông tin (Information Extraction - IE) kết hợp với xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) để thu thập, xử lý, trích rút các thông tin từ các trang web đặt món ăn trực tuyến, từ đó xây dựng cơ sở dữ liệu lưu trữ các thông tin của nhà hàng và món ăn, cuối cùng xây dựng một hệ thống hỏi đáp tự động dựa trên cơ sở dữ liệu này. Mô hình bài toán như sau: Hình 1.1: Mô hình bài toán Trong phạm vi luận văn này, tác giả sẽ trình bày cơ bản về trích rút thông tin từ các trang web đặt món trực tuyến theo một mẫu cho trước, sau đó sẽ lưu thông tin vào cơ sở dữ liệu phục vụ cho quá trình xây dựng hệ thống hỏi đáp tự động. Thông tin được trích rút theo các nội dung sau: 2 - Tên nhà hàng - Mô tả về nhà hàng - Số điện thoại - Địa chỉ nhà hàng - Danh sách các món ăn - Danh sách giá tương ứng với các món ăn Bên cạnh đó, trong luận văn này sẽ trình bày cơ bản về hệ thống hỏi đáp tự động, các bài toán cũng như kỹ thuật trong việc xây dựng một hệ thống hỏi đáp tự động miền ứng dụng nhà hàng – món ăn. 3 PHẦN II. NỘI DUNG 2.1. Bài toán trích rút thông tin 2.1.1. Phát biểu bài toán trích rút thông tin Trích rút thông tin (Information Extraction – IE) là một lĩnh vực của khai phá dữ liệu (Data Mining) có nhiệm vụ lấy ra các mẫu thông tin “có ích” đối với người dùng. Theo Jaeyoung Yang và cộng sự, trích rút/trích xuất thông tin (IE) là bài toán nhận dạng những thành phần thông tin cụ thể của một văn bản, những thành phần này chính là hạt nhân tạo nên nội dung ngữ nghĩa của văn bản đó [12]. Nói một cách đơn giản, trích rút/trích xuất thông tin là quá trình xử lý thông tin, đầu vào là một văn bản và đầu ra là các thông tin “có giá trị” với người dùng. Thông tin “có giá trị” ở đây có thể hiểu là các thực thể, các thuộc tính mô tả thực thể và mối quan hệ giữa các thực thể. Dữ liệu được trích rút ra có nội dung và cấu trúc thỏa mãn yêu cầu người dùng. Có thể phát biểu bài toán trích rút thông tin như sau: Đầu vào: Văn bản có cấu trúc bất kỳ. Đầu ra: Thông tin “có ích” được tổ chức dưới dạng cấu trúc. Ví dụ sau đây sẽ minh họa quá trình trích rút thông tin từ văn bản và tổ chức lại thành dữ liệu có cấu trúc Hình 2.1: Minh họa bài toán trích rút thông tin 4 Ở đây bài toán nhận đầu vào là một văn bản không có cấu trúc, nhiệm vụ của trích rút thông tin là trích ra các dữ liệu liên quan tới Bill Gate gồm: chức vụ (CEO), công ty làm việc (Microsoft Corporation, Microsoft), người thành lập (founder) và tên quỹ (Free Software Foundation)… Sau đó dữ liệu sẽ được tổ chức lại có cấu trúc và lưu vào trong cơ sở dữ liệu. Đây là một nhiệm vụ trong hội nghị KDD1 2003, ở đó những người (đội) tham gia phải trích chọn các thông tin từ các văn bản cho trước và điền vào các trường trong cơ sở dữ liệu (Filling slots in a database from sub-segments of text). 2.1.2. Các kỹ thuật trích rút thông tin Dữ liệu đầu vào cho bài toán trích rút thông tin rất đa dạng và phong phú. Dữ liệu có thể là dạng không cấu trúc, bán cấu trúc hoặc có cấu trúc, dữ liệu có thể được trích rút trực tuyến (on-line) hoặc ngoại tuyến (off-line). Chi tiết như sau:  Dữ liệu không cấu trúc: Dữ liệu không cấu trúc thường dùng để chỉ dữ liệu ở dạng tự do và không cần có cấu trúc định nghĩa sẵn ví dụ như ngôn ngữ tự nhiên.  Dữ liệu có cấu trúc: Dữ liệu có cấu trúc thường dùng để chỉ dữ liệu lưu trữ trong các hệ quản trị cơ sở dữ liệu quan hệ như MS SQL Server hay MySQL, trong đó các thực thể và các thuộc tính được định nghĩa sẵn .  Dữ liệu bán cấu trúc: Là dữ liệu có cấu trúc nhưng không hoàn toàn tường minh, nó không tuân theo những cấu trúc, cách thức cấu trúc của bảng và các mô hình dữ liệu trong cơ sở dữ liệu nhưng nó chứa những thẻ, những đánh dấu tới những phần tử ngữ nghĩa riêng biệt của các bản ghi và các trường riêng biệt bên trong dữ liệu . Dữ liệu từ các trang web là một dạng tiêu biểu cho dữ liệu bán cấu trúc. Trong luận văn này tập trung vào giải quyết bài toán trích rút thông tin từ dữ liệu bán cấu trúc ngoại tuyến (thu thập dữ liệu về và trích rút thông tin). Có nhiều cách tiếp cận để giải quyết bài toán trích rút thông tin, tuy nhiên nếu dựa trên đặc trưng dữ liệu thì bài toán trích rút thông tin có thể giải quyết bằng một số kỹ thuật sau:  Dữ liệu có cấu trúc: Được lưu trữ trong CSDL, việc lấy thông tin thông qua các truy vấn người dùng (mệnh đề SELECT) 1 KDD: 5  Dữ liệu bán cấu trúc: Các trang web đại diện cho dữ liệu loại này. Có hai kỹ thuật thường xuyên được dùng để trích rút thông tin trên web đó là sử dụng cấu trúc cây DOM và sử dụng biểu thức chính quy.  Dữ liệu không có cấu trúc: Với dữ liệu không có cấu trúc, bài toán trích rút thông tin có thể coi là bài toán nhận dạng và trích rút thực thể như: tên người, tên tổ chức, vị trí, ngày tháng, số… 2.1.3. Trích rút thông tin dựa trên cây DOM Theo W3C2 thì DOM (Document Object Model) là một giao diện lập trình ứng dụng (API) cho các văn bản HTML hợp lệ và các văn bản XML có cấu trúc chặt chẽ. Nó định nghĩa cấu trúc logic của các văn bản và cách thức một văn bản được truy cập và thao tác. Ví dụ về một bảng được lấy văn bản HTML: Hình 2.3: Minh họa biểu diễn cây DOM Cây DOM được xây dựng dựa trên các thẻ HTML, trong đó nút gốc chính là thẻ ngoài cùng (TABLE), sau đó đến các thẻ lồng bên trong và lá chính là các nội dung. Như 2 6 vậy việc trích chọn thông tin trên cây DOM chính là việc duyệt cây thông qua các cặp thẻ HTML. Như vậy, việc trích rút thông tin từ cây DOM phía trên như sau: duyệt lần lượt qua các nút cây DOM đến khi nào gặp lá. Khi đó, giá trị tại nút chính là thông tin cần trích rút. Ví dụ: Trích rút thông tin Aeolian thì sẽ duyệt cây DOM như sau: TBODYTRTDAeolian. 2.2. Cơ bản về hệ thống hỏi đáp Hệ thống hỏi đáp tự động có thể được định nghĩa như sau [23]: Là hệ thống được xây dựng để thực hiện việc tìm kiếm tự động câu trả lời từ một tập lớn các tài liệu cho câu hỏi đầu vào một cách chính xác và ngắn gọn. Kiến trúc chung của hệ thống hỏi đáp như sau: thành phần phân tích câu hỏi, thành phần trích rút thông tin và thành phần trả lời câu hỏi. Các thành phần cơ bản được biểu diễn trong hình 7 bên dưới: Hình 3.1: Mô hình chung cho hệ thống hỏi đáp tự động Chi tiết các thành phần được mô tả như sau: - Bước 1 – Phân tích câu hỏi: Phân tích để “hiểu” câu hỏi, trích chọn ra các từ khóa và biến đổi câu hỏi về dạng câu truy vấn. - Bước 2 – Trích rút thông tin: Quá trình này nhằm tìm ra các tài nguyên phù hợp nhất với câu hỏi người dùng. Đầu vào của bước này là các câu hỏi của người đã được phân tích, bước này cần phải xử lý để đưa ra kết quả là một tập các tài liệu phù hợp với câu hỏi người dùng. - Bước 3 – Sinh câu trả lời: Phân tích tập tài liệu đã thu thập được ở bước 2 và sử dụng các thông tin hữu ích do bước phân tích câu hỏi cung cấp để đưa ra câu trả lời chính xác nhất cho câu hỏi của người dùng. Có nhiều cách phân loại hệ thống hỏi đáp khác nhau. Nếu dựa vào miền ứng dụng thì có hai loại đó là: hệ thống hỏi đáp miền đóng (chỉ hỏi đáp cho một miền ứng dụng cụ thể) và hệ thống hỏi đáp miền mở (hỏi đáp cho nhiều miền ứng dụng khác nhau). Mặt khác, nếu phân loại theo khả năng trả lời, hệ thống gồm các loại sau: các hệ thống có cơ chế lập luận đơn giản, các hệ thống có khả năng tổng hợp, các hệ thống có khả năng giao tiếp với người Phân tích câu hỏi Trích rút thông tin Sinh câu trả lời Câu hỏi Câu trả lời 7 dùng, và các hệ thống có khả năng lập luận tương tự. Cuối cùng, nếu phân loại theo hướng tiếp cận thì có hai loại: hệ thống hỏi đáp tự động theo hướng tiếp cận nông và hệ thống hỏi đáp tự động theo hướng tiếp cận sâu. 2.3. Các bài toán trong xây dựng hệ thống hỏi đáp 2.3.1. Bài toán phân tích câu hỏi Bài toán phân tích câu hỏi là bài toán đầu tiên và quan trọng trong quá trình xây dựng một hệ thống hỏi đáp tự động. Bài toán có thể được phát biểu như sau: Đầu vào:câu hỏi tự nhiên của người dùng. Đầu ra:câu hỏi được nhận diện (phân lớp được câu hỏi, phân tích được từ khóa và các mối quan hệ…). Trong luận văn đề cập tới hai phương pháp để giải quyết bài toán phân tích câu hỏi, đó là: phân tích câu hỏi sử dụng luật và phân tích câu hỏi sử dụng cây trie.  Phân tích câu hỏi dựa trên luật: Thường sử dụng các luật do người dùng tự định nghĩa để tìm kiếm dạng câu hỏi phù hợp. Các câu hỏi phù hợp với tập luật sẽ được phân tích, ngược lại sẽ bị bỏ qua. Các biểu thức được viết dưới dạng biểu thức chính quy.  Phân tích câu hỏi sử dụng cây trie Một cây Trie, theo Clément và cộng sự, là một cấu trúc dữ liệu được định nghĩa bởi một luật đệ quy T(S) = , với S là một tập hợp các xâu alphabet A = {aj}rj=1 , và S/an là tất cả các chuỗi của S bắt đầu với an. Với mỗi câu hỏi đầu vào của người dùng, các thành phần sẽ được biểu diễn dưới dạng cây trie. Sau đó, quá trình phân tích câu hỏi chính là quá trình duyệt cây trie. Với bảng câu hỏi: Câu hỏi Khuôn dạng EAT Where is Chile? Where is !LOC$ LOC Who is the dean of ICS? Who is the !PO$ of !ORG$ NAME Who is J.Smith? Who is !NAME$ DESC Who is J.Smith of ICS? Who is !NAME$ of ORG$ DESC 8 Câu hỏi Khuôn dạng EAT How far is Athens? How far is !LOC$ NO How tall is Sting? How tall is !NAME$ NO Hình dưới chỉ ra cách dữ liệu được tổ chức và lưu trữ tương ứng với tập chuỗi định dạng câu hỏi ở bảng trên. Có thể nhận thấy rằng, mỗi nút của trie lưu trữ một hay nhiều thành phần. Hình 3.3: Cấu trúc trie xác định thực thể 2.3.2. Bài toán trích rút dữ liệu (retrieve document) Bài toán trích rút dữ liệu liên quan là bài toán thứ hai trong quá trình xây dựng hệ thống hỏi đáp tự động. Mục tiêu của bài toán này nhằm thu thập các tài liệu liên quan tới câu hỏi của người dùng (có thể là trên Internet hoặc dữ liệu được lưu trữ trên máy tính). Bài toán có thể phát biểu như sau: Đầu vào: Câu hỏi của người dùng đã được phân tích. Đầu ra: Tập các tài liệu liên quan tới câu hỏi người dùng. Quá trình trích rút dữ liệu bao gồm các bước sau:  Lựa chọn đầu tiên dựa vào các từ có ý nghĩa (từ khóa) của câu hỏi tìm kiếm tệp dữ liệu.  Tiến hành tiếp sự lựa chọn thứ 2 thông qua việc nhận dạng các cụm ngữ nghĩa đồng nghĩa hay đa nghĩa…  Các câu được lựa chọn nhờ ước lượng độ chênh lệch “khoảng cách” ngữ nghĩa giữa chúng với cụm từ của câu hỏi và tên thực thể trong dạng trả lời mong đợi. 9 2.3.3. Bài toán sinh câu trả lời (answer extractioin) Answer extraction, hay còn gọi là bước xử lý cú pháp, là bước tiếp theo sau việc trích rút dữ liệu để đưa ra được câu trả lời mong muốn. Tại bước này, các câu trả lời tiềm năng được tách ra và đánh giá. Có hai cách phổ biến để trích ra câu trả lời, đó là:  Phân tích dạng câu trả lời (Answer Type Analysis)  Tiếp cận theo hướng học khuôn dạng câu (Pattern Learning Approach) Answer type analysis (phân tích dạng câu trả lời): - Xây dựng tập các dạng câu trả lời. - Phân loại câu trả lời. - Các khuôn dạng được gắn với dạng câu trả lời tương ứng. - Cách này có tính chính xác cao nhưng không trả lời được các câu hỏi ngoài khuôn dạng (không gán nhãn được). Pattern learning approach (tiếp cận theo hướng học khuôn dạng câu): - Dạng câu hỏi có thể được “học” nếu sử dụng cặp câu hỏi-trả lời như một kiểu dữ liệu liên tục. - Thuật toán o Khuôn chứa đối tượng, văn cảnh và câu hỏi được đưa ra bộ tìm kiếm. Ví dụ: callories, Big Mac, 560. o Tất cả các tên thực thể được thay thế bằng dạng của chúng. o Một vài khuôn dạng cùng loại được dùng để “học” về vài dạng sở hữu đặc trưng. o Thực hiện tổng quát hoá (theo dạng thực thể và các lựa chọn token khác). - Sử dụng “độ tin tưởng” để đánh giá câu trả lời. Độ tin tưởng được tính bằng công thức (Trường hợp đúng/ Trường hợp đúng+sai). 2.4. Hệ thống hỏi đáp tự động miền ứng dụng 2.4.1. Phát biểu bài toán Bài toán hỏi đáp miền ứng dụng nhà hàng – món ăn được phát biểu như sau: Đầu vào: Câu hỏi dưới dạng ngôn ngữ tự nhiên của người dùng và CSDL chứa thông tin về nhà hàng, các món ăn và giá tương ứng. Đầu ra: Câu trả lời của hệ thống liên quan tới mối quan hệ nhà hàng – món ăn. 10 Hệ thống có thể sử dụng để trả lời các câu hỏi đơn giản của người dùng liên quan tới món ăn, giá và địa điểm của nhà hàng. 2.4.2. Kiến trúc hệ thống hỏi đáp tiếng Việt hướng miền ứng dụng Hệ thống hỏi đáp tự động miền ứng dụng nhà hàng – món ăn gồm hai pha chính, đó là: pha thu thập và phân tích dữ liệu, và pha hỏi đáp. Trong pha thu thập và phân tích dữ liệu, dữ liệu từ các trang web đặt món ăn trực tuyến sẽ được thu thập và phân tích. Dữ liệu được trích rút theo mẫu, các thông tin bao gồm: tên nhà hàng, mô tả về nhà hàng, số điện thoại, địa chỉ, danh sách các món ăn và giá tương ứng. Sau khi trích rút, dữ liệu được lưu trong CSDL Hình 4.1: Kiến trúc hệ thống hỏi đáp miền ứng dụng nhà hàng – món ăn Trong pha hỏi đáp, câu hỏi từ người dùng sẽ được hệ thống phân tích thông qua các luật được xây dựng trước. Sau khi phân tích, câu hỏi sẽ được nhận dạng, phân tích ngữ pháp và trích rút các từ khóa. Sau bước này, câu hỏi được chuyển sang câu truy vấn để sinh câu trả lời. 2.4.3. Tập luật trong hệ thống hỏi đáp tự động miền ứng dụng nhà hàng – món ăn Qua quá trình khảo sát dữ liệu, tác giả nhận thấy số lượng câu hỏi trong miền ứng dụng nhà hàng – món ăn không nhiều, các câu hỏi thường tập trung vào một số loại như: hỏi về địa điểm nhà hàng, hỏi về giá món ăn, hỏi về nhà hàng có món ăn hay không. Do đó, 11 cách tiếp cận phân tích câu hỏi dựa vào luật được sử dụng trong luận văn phù hợp với hệ thống hiện tại. Các luật được xây dựng dưới dạng các biểu thức chính quy, sử dụng thành phần JAPE trong bộ công cụ GATE. Dưới đây là các luật được sử dụng trong hệ thống. 1. Đối tượng hỏi địa điểm mục đích từ để hỏi Ví dụ: - Món lẩu vịt tại nhà hàng Hương Sen giá bao nhiêu? - Ăn món gà sốt nấm tại nhà hàng Hương Sen giá bao nhiêu? 2. Đối tượng hỏi địa điểm min/max từ để hỏi mục đích Ví dụ: - Món lẩu vịt ở đâu rẻ nhất? - Vịt quay rẻ nhất được bán ở đâu? 3. Đối tượng hỏi min/max địa điểm từ để hỏi mục đích Ví dụ: - Món thịt bò hầm giá rẻ nhất quận Ba Đình ở đâu? - Ăn cơm văn phòng tại nhà hàng nào rẻ nhất? 4. Địa điểm đối tượng hỏi mục đích từ để hỏi Ví dụ: - Nhà hàng nào bán món thịt lợn hun khói rẻ nhất? - Món thịt lợn hun khói được bán rẻ nhất ở đâu? 5. Mục đích hỏi thành phần từ để hỏi mục đích hỏi Ví dụ: - Nhà hàng Gió Mới bán món vịt Bắc Kinh nằm ở đâu? - Nhà hàng ABC nằm ở đâu tại quận Hoàn Kiếm? 6. Địa điểm từ để hỏi thành phần mục đích Ví dụ: 12 - Nhà hàng Ngon có bán món sinh tố tình yêu không? - Tại quán Ngon có món sinh tố tình yêu không? 7. Thành phần địa điểm mục đích Ví dụ: - Món lẩu Thái có bán tại nhà hàng ABC không? - Có món lẩu Thái tại nhà hàng ABC không? 8. Mục đích từ để hỏi thành phần Ví dụ: - Nhà hàng nào có món gà sốt nấm? - Nhà hàng nào có cơm văn phòng? 9. Mục đích hỏi từ để hỏi thành phần địa điểm Ví dụ: - Nhà hàng nào bán món phở gần nhà hát lớn Hà Nội? - Những cửa hàng nào bán phở gần nhà hát lớn Hà Nội? Cấu trúc của từng luật bao gồm phần mô tả các luật, được đặt trong cặp dấu “”, sau đó là mục đích hỏi được đặt trong cặp dấu “”, bên dưới mỗi luật mô tả từng thành phần của luật, cuối cùng mỗi luật có các ví dụ minh họa. 2.5. Kết quả thực nghiệm 2.5.1. Tập dữ liệu kiểm tra Dữ liệu thử nghiệm trong hệ thống được thu thập từ các trang web đặt món trực tuyến tại Việt Nam được trình bày trong bảng sau: Bảng 5.1: Danh sách trang web được dùng để thu thập dữ liệu STT Tên trang web Địa chỉ 1 Hotmeal 2 HungryPanda 3 Hungry 4 Goimon 13 STT Tên trang web Địa chỉ 5 Foody 6 Chonmon Tổng số trang web thu được là 14.504, sau đó luận văn xây dựng chương trình phân tích dữ liệu để thu được danh sách nhà hàng và danh sách món ăn tương ứng. Tổng số nhà hàng sau khi tiến hành phân tích xử lý dữ liệu là 215 nhà hàng và 16.144 món ăn tương ứng. Các thuộc tính của một nhà hàng trong luận văn gồm tên nhà hàng, địa chỉ, số điện thoại liên hệ và danh sách các món ăn. 2.5.2. Đánh giá quá trình phân tích câu hỏi Sau khi hệ thống chạy thử nghiệm, luận văn tiến hành đánh giá độ chính xác của các câu hỏi trong hệ thống. Để đánh giá độ chính xác của hệ thống, luận văn sử dụng hai độ đo, đó là độ hồi tưởng và độ chính xác. Công thức cụ thể như sau: Độ chính xác = ்ố௡௚ ௦ố ௖â௨ ௛ệ ௧௛ố௡௚ ௧௥ả ௟ờ௜ đượ௖ ்ố௡௚ ௦ố ௖â௨ ௛ỏ௜ ௡௚ườ௜ ௗù௡௚ đư௔ ௩à௢ Độ hồi tưởng = ்ố௡௚ ௦ố ௖â௨ ௛ệ ௧௛ố௡௚ ௧௥ả ௟ờ௜ đú௡௚ ்ố௡௚ ௦ố ௖â௨ ௛ệ ௧௛ố௡௚ ௧௥ả ௟ờ௜ đượ௖ Bảng 5.2: Minh họa độ chính xác của các loại mẫu câu hỏi STT Loại luật Số câu đưa vào Số câu trả lời được Phần trăm (~) 1 Loại số 1 50 48 96% 2 Loại số 2 20 16 80% 3 Loại số 3 25 22 88% 4 Loại số 4 22 18 82% 5 Loại số 5 38 36 95% 6 Loại số 6 15 14 93% 7 Loại số 7 18 16 89% 8 Loại số 8 34 30 88% 9 Loại số 9 14 12 85% 14 Bảng 5.3: Minh họa độ hồi tưởng của các loại mẫu câu hỏi STT Loại luật Số câu trả lời được Số câu trả lời đúng Phần trăm (~) 1 Loại số 1 48 43 89% 2 Loại số 2 16 11 69% 3 Loại số 3 22 20 90% 4 Loại số 4 18 13 72% 5 Loại số 5 36 33 91% 6 Loại số 6 14 11 79% 7 Loại số 7 16 13 81% 8 Loại số 8 28 25 89% 9 Loại số 9 12 10 83% Kết quả thực nghiệm đánh giá độ chính xác trung bình đạt xấp xỉ 88,44% và độ hồi tưởng trung bình xấp xỉ đạt 81,44%. Các câu hỏi hệ thống không trả lời được xuất phát từ một số nguyên nhân sau: - Dữ liệu không có trong hệ thống: Với câu hỏi của người dùng mà dữ liệu không có trong hệ thống thì hệ thống sẽ không trả về được kết quả cho người dùng. Ví dụ: Hệ thống sẽ không trả lời được câu hỏi “Nhà hàng nào bán món phở tại quận Hồ Gươm” do quận Hồ Gươm không có trong cơ sở dữ liệu. - Câu hỏi không đúng cú pháp: Hệ thống sẽ không trả lời được những câu hỏi người dùng quá đơn giản hoặc phức tạp, do luận văn tập chung khảo sát một số mẫu câu hỏi thường gặp. Số luật mà luận văn xây dựng chưa bao phủ hết được miền câu hỏi theo ngôn ngữ tự nhiên của người dùng. Ví dụ: Hệ thống sẽ thông báo câu hỏi “Phở” là không hợp lệ do không đủ thành phần của câu hỏi, hoặc câu hỏi “Tôi muốn ăn món bò bít tết ngon và rẻ!” hệ