Tìm kiếm thông tin là nhu cầu thiết thực của tất cảmọi người. Đặc biệt trong
bối cảnh bùng nổthông tin nhưhiện nay, gồm có sựra đời của internet và sáng
kiến vềthưviện điện tử, nhu cầu tìm kiếm thông tin lại càng phát triển. Nhưng
nhờcó sựtrợgiúp của công nghệthông tin con người có thểthỏa mãn nhu cầu này
một cách dễdàng. Thật vậy, có rất nhiều hệthống tìm kiếm thông tin
(Information Retrieval system hay IR system)trên máy tính đang tồn tại đểtrợ
giúp con người. Tuy nhiên, khảnăng tìm kiếm thông tin của các hệthống này
chắc chắn khác nhau. Do đó, việc đánh giá các hệthống tìm kiếm thông tin
(Evaluation of Information Retrieval systems) là một nhu cầu không thểthiếu
nhằm xác định các hệthống tìm kiếm thông tin hiệu quả. Việc đánh giá này có ý
nghĩa rất lớn đối với sựtồn tại và phát triển của các hệthống tìm kiếm thông tin.
Nó giúp xác định khảnăng tìm kiếm của các hệthống tìm kiếm thông tin từ đó mà
các tổchức, công ty, trường học tạo ra hệthống này có thểphát triển, thay đổi hệ
thống để đưa ra khảnăng tìm kiếm thông tin tốt nhất. Ngoài ra, việc xác định các
hệthống tìm kiếm thông tin hiệu quảrất hữu ích đối với người dùng, họsẽcảm
thấy tin tưởng vào kết quảtìm kiếm mà hệthống tìm được. Xa hơn nữa, việc đánh
giá sẽtạo ra một cuộc cách mạng trong lĩnh vực tìm kiếm thông tin; giúp đưa tìm
kiếm thông tin vào trong thếgiới thực của đời sống. Chẳng hạn, khi các hệthống
tìm kiếm thông tin tiến bộchuyển từnghiên cứu sang thếgiới thực của cạnh tranh
thương mại thì những nhà thiết kế, nhà phát triển, người bán hàng, và những đại
diện bán hàng của các sản phẩm thông tin mới nhưsách điện tử, và các phương
tiện tìm kiếm (Search engines) muốn biết sản phẩm của họcó cung cấp cho
những người sửdụng và người mua hàng tiềm năng các lợi thếcạnh tranh hay
không, sẽ được thỏa mãn nhu cầu thông tin này một cách dễdàng, chính xác.
Khảnăng tìm kiếmcủa hệthống tìm kiếm thông tin chúng tôi vừa đềcập
được nghiên cứu ởnhiều cấp độ: thứnhất là vềkhảnăng xửlý tức thời gian tìm
kiếm và không gian lưu trữhay còn gọi là hiệu năng; thứhai là vềkhảnăng tìm
kiếm hay hiệu quảcủa kết quảtrảvề; thứba là khảnăng vềhệthống tức hệthống
có thỏa mãn nhu cầu thông tin của người dùng hay không.
Hiện nay, trên thếgiới đã có rất nhiều hệthống đánh giá các hệthống tìm kiếm
thông tin nhưng chủyếu là đánh giá các hệthống tìm kiếm thông tin tiếng Anh,
tiếng Pháp. Đối với tiếng Việt, theo chúng tôi được biết, chưa có một hệthống nào
được dùng để đánh giá các hệthống tìm kiếm thông tin tiếng Việt. Nhưng theo xu
hướng phát triển của đất nước và nhu cầu tìm kiếm thông tin thì các hệthống tìm
kiếm thông tin tiếng Việt bắt buộc phải tồn tại và phát triển. Vì vậy, Việt Nam
chúng ta rất cần các hệthống được dùng để đánh giá hiệu năng, hiệu quảcủa các
hệthống tìm kiếm thông tin tiếng Việt.
Do ý nghĩa to lớn của lĩnh vực nghiên cứu đánh giá này, chúng tôi đã quyết
định chọn đềtài đánh giá các hệthống tìm kiếm thông tin. Chúng tôi nghĩrằng hệ
thống đánh giá của chúng tôi sẽlà cơsở để đánh giá tất cảcác hệthống tìm kiếm
thông tin, nhất là hệthống tìm kiếm thông tin tiếng Việt. Chúng tôi cũng hy vọng
hệthống của chúng tôi sẽgóp phần vào sựphát triển của các hệthống tìm kiếm
thông tin, của tìm kiếm thông tin và của công nghệthông tin nước ta.
Thực hiện đánh giá khảnăng tìm kiếm, chúng tôi tập trung vào đánh giá hiệu
quảcủa kết quảtìm kiếm được trảvề(cấp độthứhai trong khảnăng tìm kiếm của
hệthống thông tin ởtrên). Hiệu quảcủa kết quảtrảvề được định nghĩa là khả
năng hệthống tìm kiếm thông tin tìm được các tài liệu liên quan(Relevant
Documents)và loại bỏ đi những tài liệu không liên quan(Irrelevant
Documents). Đây là mô hình hướng hệthống trong nghiên cứu tìm kiếm thông tin.
Mô hình này mô hình đánh giá được sửdụng nhiều nhất và hiệu quảnhất trên thế
giới.
Và đểxây dựng hệthống đánh giá các hệthống tìm kiếm thông tin tiếng Việt
theo mô hình hướng hệthống, trước hết, chúng tôi cần phải xây dựng bộngữliệu
dùng để đánh giá bằng tiếng Việt(a Vietnamese Test collection). Bộngữliệu
dùng để đánh giá gồm có kho ngữliệu mẫu bằng tiếng Việt(a Vietnamese
Corpus hay a set of Vietnamese documents), tập câu truy vấn mẫu bằng tiếng
Việt(a set of Vietnamese queries), và bảng đánh giá liên quan chuẩn
(Relevance Judgment). Chúng tôi tìm hiểu và thực hiện xây dựng bộngữliệu
dùng để đánh giá theo tiêu chuẩn của Hội nghịvềTìm kiếm thông tin Văn bản
(Text REtrieval Conference hayTREC)của Hoa Kỳ, một trong những Hội nghị
hàng đầu trên thếgiới vềTìm kiếm Thông tin.
Tiếp theo, chúng tôi xây dựng chương trình trợgiúp đánh giá các hệthống tìm
kiếm thông tin, cho phép người dùng thao tác, thực hiện đánh giá các hệthống một
cách dễdàng. Kết quảtrảvềcủa chương trình đánh giá có được dựa vào bộngữ
liệu mẫu được dùng đánh giá. Kết quảtrảvềnày gồm có kết quảtruy vấn của hệ
thống tìm kiếm thông tin và kết quả đánh giá. Kết quả đánh giá được tính dựa trên
sựkết hợp của hai độ đo: độbao phủ (Recall) và độchính xác (Precision). Từ
kết quảtrảvề, chúng ta có thểbiết được khảnăng tìm kiếm của riêng từng hệ
thống tìm kiếm thông tin và so sánh khảnăng của các hệthống tìm kiếm với nhau.
187 trang |
Chia sẻ: tuandn | Lượt xem: 2125 | Lượt tải: 1
Bạn đang xem trước 20 trang tài liệu Khóa luận Xây dựng bộ ngữ liệu để đánh giá bằng tiếng Việt và chương trình trợ giúp đánh giá các hệ tìm kiếm thông tin, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN HỆ THỐNG THÔNG TIN
TSÀN QUẾ HƯƠNG – 0112385
VÕ HỒ BẢO KHANH – 0112387
XÂY DỰNG BỘ NGỮ LIỆU ĐỂ ĐÁNH GIÁ BẰNG
TIẾNG VIỆT VÀ CHƯƠNG TRÌNH TRỢ GIÚP
ĐÁNH GIÁ CÁC HỆ TÌM KIẾM THÔNG TIN
KHÓA LUẬN CỬ NHÂN TIN HỌC
GIÁO VIÊN HƯỚNG DẪN
T.S HỒ BẢO QUỐC
NIÊN KHÓA 2001 - 2005
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 2
Ý KIẾN CỦA GIÁO VIÊN PHẢN BIỆN
………………………………………………………………………………………
….…………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
………………………………………………………………………………………
Xác nhận của GVPB
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 3
ĐỀ CƯƠNG CHI TIẾT
Thông tin chung về đề tài:
Tên đề tài: Xây dựng bộ ngữ liệu để đánh giá (test collection) bằng tiếng Việt và chương
trình trợ giúp đánh giá các hệ tìm kiếm thông tin
GVHD: Tiến sĩ Hồ Bảo Quốc
Sinh viên thực hiện:
1. MSSV: 0112385 Họ và tên: Tsàn Quế Hương
2. MSSV: 0112387 Họ và tên: Võ Hồ Bảo Khanh
Tóm tắt nội dung luận văn:
Đề tài gồm 2 phần :
1. Xây dựng bộ ngữ liệu để đánh giá các hệ thống tìm kiếm thông tin tiếng Việt. Việc xây
dựng bộ ngữ liệu gồm ba phần :
_ Xây dựng ngữ liệu mẫu tiếng Việt
_ Xây dựng tập câu truy vấn mẫu tiếng Việt
_ Xây dựng một bảng đánh giá bằng thủ công
2.Xây dựng một hệ thống chương trình trợ giúp việc đánh giá các hệ thống tìm kiếm
thông tin với thành phần đầu vào : ngữ liệu mẫu, câu truy vấn mẫu, hệ thống tìm kiếm
thông tin ; các thành phần đầu ra : kết quả truy vấn, kết quả đánh giá, nội dung tập tài
liệu, câu truy vấn
Một số từ khóa chính liên quan đến nội dung đề tài:
Đánh giá các hệ thống tìm kiếm thông tin (information retrieval systems evaluation)
Lĩnh vực áp dụng:
Đánh giá các hệ thống tìm kiếm thông tin tiếng Việt.
Các thuật toán, phương pháp, quy trình chính được nghiên cứu, ứng dụng trong đề tài
_ Tìm hiểu về tìm kiếm thông tin (information retrieval), đánh giá các hệ thống tìm kiếm
thông tin (information retrieval systems evaluation)
_ Tìm hiểu cấu trúc của bộ ngữ liệu, phương pháp xây dựng bộ ngữ liệu của TREC (Text
REtrieval Conference)
_ Tìm hiểu và sử dụng các hệ thống tìm kiếm : SMART, IOTA ,Lucene,Terrier…
_ Xây dựng bộ ngữ liệu kiểm tra bằng tiếng Việt
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 4
_ Xây dựng một hệ chương trình phục vụ việc kiểm tra và đánh giá các hệ thống tìm
kiếm thông tin. Chương trình phải chạy được trên hai hệ điều hành : Windows và Linux,
chương trình viết bằng ngôn ngữ Java
Các công cụ, công nghệ chính được nghiên cứu, ứng dụng trong đề tài
Borland Jbuider X
Visual Studio . NET
Microsoft Visio 2003
Rational Rose
Microsoft Word, Power Point
Xác nhận của GVHD
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 5
Lời cám ơn
Z X
Chúng em xin chân thành cảm ơn các Thầy Cô Khoa Công nghệ Thông tin đã
hướng dẫn và giảng dạy rất nhiệt tình cho chúng em trong suốt bốn năm học ở
Trường Đại học Khoa học Tự nhiên. Những kiến thức mà chúng em đã học được
trên giảng đường sẽ là hành trang quý báu trên bước đường đời của chúng em.
Chúng em xin cảm ơn Thầy Hồ Bảo Quốc đã tạo cơ hội cho chúng em được
nghiên cứu học hỏi về lĩnh vực tìm kiếm thông tin bằng Tiếng Việt, một lĩnh vực
tương đối mới và hấp dẫn ở Việt Nam . Một lần nữa chúng em xin cảm ơn Thầy vì
Thầy đã tận tình hướng dẫn chúng em đề tài luận văn “Xây dựng bộ ngữ liệu dùng
để đánh giá bằng tiếng Việt và chương trình trợ giúp đánh giá các hệ thống tìm
kiếm thông tin”.
Chúng em xin cảm ơn gia đình, các anh chị, bạn bè đã động viên, giúp đỡ
chúng em để hoàn thành tốt đề tài luận văn này.
Nhóm sinh viên thực hiện
Tsàn Quế Hương – Võ Hồ Bảo Khanh
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 6
MỤC LỤC
MỞ ĐẦU ............................................................................................................10
Chương 1 : TỔNG QUAN .................................................................................13
1.1. Tổng quan về tìm kiếm thông tin và hệ thống tìm kiếm thông tin ........................13
1.2. Tổng quan về đánh giá các hệ thống tìm kiếm thông tin ......................................14
1.2.1. Lý do để tiến hành đánh giá các hệ thống tìm kiếm thông tin........................14
1.2.2. Các tiêu chuẩn được dùng để đánh giá .........................................................15
1.2.3. Các mô hình đánh giá...................................................................................15
1.2.4. Các độ đo dùng để đánh giá .........................................................................18
1.2.5. Các phương pháp xây dựng bộ ngữ liệu dùng để đánh giá ............................18
1.2.6. Phương pháp xây dựng bộ ngữ liệu được chọn.............................................20
1.2.7. Phương pháp đánh giá tầm quan trọng của kết quả trả về .............................21
Chương 2 : CƠ SỞ LÝ THUYẾT.......................................................................22
2.1. Tìm kiếm thông tin và các hệ thống tìm kiếm thông tin.......................................22
2.1.1. Lịch sử tìm kiếm thông tin và hệ thống tìm kiếm thông tin ...........................22
2.1.2. Hệ thống tìm kiếm thông tin.........................................................................25
2.1.2.1. Khái niệm về hệ thống tìm kiếm thông tin .............................................25
2.1.2.2. Cách thức hoạt động của hệ thống tìm kiếm thông tin............................25
2.1.2.3. Các phương tiện tìm kiếm thông tin (Search Engines) ...........................27
2.1.3. So sánh tìm kiếm thông tin cổ điển và tìm kiếm thông tin trên Web .............29
2.1.4. So sánh tìm kiếm thông tin với tìm kiếm dữ liệu ..........................................30
2.1.5. Công thức trừu tượng trong tìm kiếm thông tin ............................................31
2.1.6. Các mô hình tìm kiếm thông tin cổ điển để sắp thứ tự liên quan ...................32
2.1.6.1. Mô hình Đại số Bool .............................................................................32
2.1.6.2. Mô hình không gian vec-tơ....................................................................33
2.2. Đánh giá các hệ thống tìm kiếm thông tin ...........................................................36
2.2.1. Nền tảng đánh giá các hệ thống tìm kiếm thông tin ......................................36
2.2.2. Mô hình đánh giá hướng hệ thống ................................................................37
2.2.2.1. Từ Cranfield đến TREC ........................................................................37
2.2.2.2. Thủ tục đánh giá....................................................................................39
2.2.2.3. Đánh giá sự liên quan............................................................................40
2.2.3. Thực hiện đo khả năng tìm kiếm ..................................................................41
2.2.3.1. Các khái niệm về độ đo và liên quan .....................................................41
2.2.3.2. Cách tính độ bao phủ (R) và độ chính xác (P)........................................42
2.2.3.3. Phương pháp tính độ chính xác dựa trên 11 điểm chuẩn của độ bao phủ 44
2.2.3.3.1. Đồ thị biểu diễn hiệu suất thực thi hệ thống tìm kiếm .....................44
2.2.3.3.2. Đường cong độ bao phủ và độ chính xác RP...................................45
2.2.3.3.3. Đường cong RP cho tập truy vấn ....................................................47
2.2.3.3.4. Đánh giá hệ thống tìm kiếm thông tin dựa vào đồ thị ......................48
2.2.3.4. Sự liên quan giữa câu hỏi và tài liệu ......................................................49
2.2.3.4.1. Các độ liên quan .............................................................................49
2.2.3.4.2. Các vấn đề về độ liên quan .............................................................49
2.2.3.4.3. Đánh giá với độ liên quan nhiều cấp độ ..........................................51
2.2.3.4.4. Phương pháp đo độ bao phủ (R), độ chính xác (P) dựa trên độ liên
quan nhiều cấp độ ..........................................................................................53
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 7
2.2.4. TREC và đánh giá theo chuẩn TREC ...........................................................54
2.2.4.1. TREC là gì? ..........................................................................................54
2.2.4.2. Cách xây dựng ngữ liệu của TREC........................................................56
2.2.4.2.1. Xây dựng tập hợp các tài liệu..........................................................57
2.2.4.2.2. Xây dựng các chủ đề.......................................................................57
2.2.4.2.3. Xây dựng bảng đánh giá liên quan chuẩn........................................58
2.3. Ngữ liệu tiếng Việt .............................................................................................59
2.3.1. Từ ................................................................................................................60
2.3.1.1. Quan niệm về từ ....................................................................................60
2.3.1.2. Quan niệm về hình vị ............................................................................61
2.3.1.3. Khái niệm về cấu tạo từ.........................................................................61
2.3.2. Ranh giới từ .................................................................................................62
Chương 3 : THIẾT KẾ VÀ CÀI ĐẶT.................................................................63
3.1. Xây dựng bộ ngữ liệu dùng để đánh giá ..............................................................63
3.1.1. Xây dựng kho ngữ liệu bằng tiếng Việt ........................................................63
3.1.1.1. Chuẩn hóa ngữ liệu ...............................................................................63
3.1.1.1.1. Chuẩn hóa dạng ngữ liệu ................................................................63
3.1.1.1.2. Định dạng ngữ liệu .........................................................................64
3.1.2. Xây dựng tập câu hỏi bằng tiếng Việt...........................................................64
3.1.3. Tách từ tiếng Việt ........................................................................................65
3.1.4. Xây dựng bảng đánh giá...............................................................................65
3.1.4.1. Hệ thống SMART .................................................................................66
3.1.4.1.1. Giới thiệu hệ thống SMART...........................................................66
3.1.4.1.2. Quá trình tìm kiếm thông tin của SMART ......................................66
3.1.4.1.3. Mô hình vec-tơ của hệ thống SMART ............................................67
3.1.4.1.4. Sử dụng mô hình vec-tơ..................................................................69
3.1.4.2. Hệ thống Search4Vn .............................................................................73
3.1.4.3. Hệ thống TERRIER ..............................................................................73
3.1.4.4. Hệ thống X-IOTA .................................................................................74
3.1.4.5. Hệ thống LUCENE ...............................................................................74
3.2. Phân tích hệ thống đánh giá các hệ thống tìm kiếm thông tin ..............................74
3.2.1. Mô tả hệ thống trợ giúp đánh giá..................................................................74
3.2.1.1. Phát biểu bài toán..................................................................................74
3.2.1.2. Mục tiêu................................................................................................75
3.2.1.3. Phạm vi .................................................................................................75
3.2.1.4. Chức năng .............................................................................................75
3.2.1.5. Tính khả dụng .......................................................................................76
3.2.1.6. Hiệu suất ...............................................................................................76
3.2.1.7. Tính bảo mật .........................................................................................76
3.2.2. Phân tích hệ thống đánh giá..........................................................................76
3.2.2.1. Chức năng của hệ thống ........................................................................76
3.2.2.2. Chức năng yêu cầu ................................................................................77
3.2.2.2.1. Chức năng đánh giá một hệ thống IR..............................................77
3.2.2.2.2. Chức năng so sánh nhiều hệ thống IR .............................................77
3.2.2.2.3. Sơ đồ use case ................................................................................77
3.2.2.2.4. Sơ đồ tuần tự hoạt động usecase .....................................................79
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 8
3.3. Thiết kế hệ thống đánh giá ..................................................................................86
3.3.1. Các chức năng của chương trình...................................................................86
3.3.1.1. Chức năng “Định dạng cơ sở dữ liệu tài liệu” ........................................86
3.3.1.2. Chức năng “Định dạng kết quả trả về”...................................................86
3.3.1.3. Chức năng “Định dạng file index”.........................................................87
3.3.1.4. Chức năng “Thực thi hệ thống IR” ........................................................87
3.3.1.5. Chức năng “Xử lý kết quả trả về” ..........................................................87
3.3.1.6. Chức năng ”Đánh giá một hệ thống IR”.................................................87
3.3.1.7. Chức năng “Đánh giá nhiều hệ thống IR”..............................................87
3.3.2. Thiết kế hệ thống .........................................................................................88
3.3.2.1. Sơ đồ kiến trúc tổng thể.........................................................................88
3.3.2.1.1. Danh sách các lớp đối tượng...........................................................88
3.3.2.1.2. Lớp đối tượng thể hiện....................................................................88
3.3.2.1.3. Lớp đối tượng xử lý........................................................................91
3.3.2.1.4. Lớp đối tượng lưu trữ .....................................................................99
3.3.2.2. Sơ đồ kiến trúc tổng quát cho từng chức năng của chương trình ............99
3.3.2.2.1. Chức năng “Định dạng tài liệu” ......................................................99
3.3.2.2.2. Chức năng “Định dạng câu hỏi”....................................................100
3.3.2.2.3. Chức năng “Thực thi hệ thống” ....................................................101
3.3.2.2.4. Chức năng “Định dạng kết quả”....................................................102
3.3.2.2.5. Chức năng “Định dạng file index” ................................................103
3.3.2.2.6. Chức năng “Đánh giá và hiện thi kết quả đánh giá” ......................103
3.3.2.2.7. Chức năng ”So sánh các hệ thống IR đã được thực thi” ................104
3.3.2.3. Thiết kế dữ liệu – tổ chức lưu trữ.........................................................105
3.3.2.3.1. Mô hình dữ liệu ............................................................................105
3.3.2.3.2. Sơ đồ logic dữ liệu........................................................................107
3.3.2.4. Tố chức lưu trữ dữ liệu........................................................................110
3.3.2.4.1. System..........................................................................................110
3.3.2.4.2. Topic ............................................................................................112
3.3.2.4.3. Index_topic...................................................................................113
3.3.2.4.4. Document .....................................................................................114
3.3.2.4.5. Index_Doc....................................................................................115
3.3.2.4.6. relevant_TT..................................................................................115
3.3.2.4.7. relevant_LT..................................................................................116
3.3.2.4.8. evaluation.....................................................................................117
3.3.2.5. Thiết kế giao diện................................................................................119
3.3.2.5.1. Sơ đồ liên hệ giữa các màn hình ...................................................119
3.3.2.6. Thiết kế màn hình................................................................................ 122
3.3.2.6.1. Màn hình chính (TH_Main) ..........................................................122
3.3.2.6.2. Màn hình định dạng tài liệu (TH_DDTaiLieu) ..............................122
3.3.2.6.3. Màn hình tạo thuộc tính cho tài liệu (TH_TTTaiLieu) ..................124
3.3.2.6.4. Màn hình định dạng câu hỏi (TH_DDCauHoi)..............................125
3.3.2.6.5. Màn hình tạo thuộc tính cho câu hỏi (TH_TTCauHoi) ..................127
3.3.2.6.6. Màn hình xử lý điều kiện để thực thi hệ thống IR..........................128
3.3.2.6.7. Màn hình thực thi hệ thống (TH_ThucThiHT) ..............................129
3.3.2.6.8. Màn hình định dạng kết quả (TH_DDKetQua)..............................130
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Trang 9
3.3.2.6.9. Màn hình định dạng thông tin index (TH_DDIndex).....................131
3.3.2.6.10. Màn hình đánh giá hệ thống (TH_KqDanhGia)...........................133
3.3.2.6.11. Màn hình xem đồ thị của hệ thống ..............................................136
3.3.2.6.12. Màn hình xem chi tiết (TH_XemChiTiet) ...................................136
3.3.2.6.13. Màn hình so sánh hệ thống (TH_SoSanhHT) ..............................138
3.3.2.7. Thiết kế hệ thống lớp đối tượng...........................................................139
3.3.2.7.1. Các lớp đối tượng xử lý ................................................................139
3.3.2.7.2. Các lớp đối tượng lưu trữ..............................................................169
Chương 4 : KẾT QUẢ ĐÁNH GIÁ .................................................................. 171
4.1. Ngưỡng đánh giá ..............................................................................................171
4.2. Đánh giá hệ thống tìm kiếm thông tin search4VN .............................................171
4.3. So sánh hệ thống tìm kiếm search4VN và hệ thống Lucene............................... 177
4.4. Nhận xét chương trình hỗ trợ
