Luận án Nghiên cứu phương pháp xác định thứ tự ưu tiên của thư điện tử

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Nguyễn Thanh Hà NGHIÊN CỨU PHƯƠNG PHÁP XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội – Năm 2023 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Nguyễn Thanh Hà NGHIÊN CỨU PHƯƠNG PHÁP XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ Chuyên ngành : Hệ thống thông tin Mã số: 9.48.01.04 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS. Trần Quang Anh 2. TS. Trần Hùng Hà Nội - Năm 2023 i LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Nội dung của luận án có tham khảo và sử dụng các tài liệu, thông tin được đăng tải trên những tạp chí và các trang web theo danh mục tài liệu tham khảo. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình. Hà Nội, ngày tháng năm 2023 Người cam đoan Nguyễn Thanh Hà ii LỜI CẢM ƠN Lời đầu tiên, tôi xin trân trọng cảm ơn tới Ban Giám đốc Học viện, Khoa Đào tạo Sau Đại học, các Thầy Cô giáo và các Khoa-Phòng liên quan của Học viện đã tạo điều kiện giúp đỡ trong suốt quá trình làm nghiên cứu sinh tại trường. Tôi xin gửi lời cảm ơn sâu sắc đến PGS.TS. Trần Quang Anh. Thầy là người định hướng và tận tình hướng dẫn, chỉ bảo cho tôi trong suốt quá trình theo đuổi con đường học thuật. Những phương pháp và tầm nhìn của thầy là cơ sở vững chắc cho những thành tựu khoa học mà tôi đạt được. Tôi xin gửi lời cám ơn chân thành đến TS. Trần Hùng. Thầy là người hướng dẫn, tư vấn quý giá, thầy đã luôn động viên, ủng hộ tôi hoàn thành bản luận án. Thầy đã hướng dẫn phương pháp nghiên cứu khoa học và kịp thời gợi ý nhiều hướng tiếp cận cho nghiên cứu sinh. Tôi xin dành sự yêu thương và cám ơn tới gia đình, những người thân đã luôn đồng hành cùng tôi vượt qua những khó khăn trên suốt một chặng đường dài. Cuối cùng, Tôi xin chân thành cảm ơn các lãnh đạo, các bạn đồng nghiệp tại cơ quan đã luôn tạo mọi điều kiện tốt nhất cho tôi thực hiện nghiên cứu của mình. Xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2023 iii MỤC LỤC LỜI CAM ĐOAN ............................................................................................................ i LỜI CẢM ƠN ................................................................................................................. ii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ................................................ vi DANH MỤC CÁC BẢNG, BIỂU ............................................................................... viii DANH MỤC CÁC HÌNH VẼ ....................................................................................... ix DANH MỤC CÁC KÝ HIỆU TOÁN HỌC DÙNG TRONG LUẬN ÁN .................... x MỞ ĐẦU ........................................................................................................................ 1 1. GIỚI THIỆU ................................................................................................................................... 1 2. TÍNH CẤP THIẾT CỦA LUẬN ÁN ............................................................................................. 2 3. MỤC TIÊU CỦA LUẬN ÁN ......................................................................................................... 3 4. PHƯƠNG PHÁP NGHIÊN CỨU................................................................................................... 5 5. CÁC ĐÓNG GÓP CỦA LUẬN ÁN............................................................................................... 6 6. BỐ CỤC CỦA LUẬN ÁN ............................................................................................................. 7 CHƯƠNG 1 – TỔNG QUAN VỀ THƯ ĐIỆN TỬ VÀ XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ ........................................................................................... 8 1.1. HỆ THỐNG THƯ ĐIỆN TỬ ....................................................................................................... 8 1.1.1. Sơ lược về thư điện tử ........................................................................................................... 8 1.1.2. Cấu trúc của một bức thư điện tử .......................................................................................... 9 1.1.3. Mô hình xử lý thư điện tử ................................................................................................... 11 1.1.4. Sơ lược về thư rác ............................................................................................................... 13 1.2. CÁC BÀI TOÁN XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ .............................. 13 1.2.1. Lọc thư rác .......................................................................................................................... 14 1.2.2. Dự đoán hành động của người dùng thư điện tử ................................................................. 15 1.2.3. Xếp hạng thư điện tử ........................................................................................................... 15 1.3. TỔNG QUAN NGHIÊN CỨU VỀ XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ .. 17 1.3.1. Nghiên cứu về lọc thư rác ................................................................................................... 17 1.3.2. Nghiên cứu về dự đoán hành động người dùng .................................................................. 36 1.3.3. Nghiên cứu về xếp hạng thư điện tử ................................................................................... 39 1.3.4. Các tiêu chí đánh giá ........................................................................................................... 43 1.4. TẬP DỮ LIỆU THƯ ĐIỆN TỬ ................................................................................................ 46 1.4.1. Tập dữ liệu Enron ............................................................................................................... 46 1.4.2. Tập dữ liệu TREC ............................................................................................................... 47 1.4.3. Các tập dữ liệu khác ............................................................................................................ 48 1.4.4. Tập dữ liệu thư điện tử tiếng Việt ....................................................................................... 49 1.5. KẾT LUẬN CHƯƠNG 1 .......................................................................................................... 57 CHƯƠNG 2: PHÁT HIỆN THƯ RÁC ........................................................................ 59 iv 2.1. MỞ ĐẦU ................................................................................................................................... 59 2.1.1. Đặc điểm của thư rác .......................................................................................................... 59 2.1.2. Những vấn đề còn tồn tại .................................................................................................... 61 2.2. ỨNG DỤNG MẠNG NƠ-RON ĐỂ TỰ ĐỘNG LỰA CHỌN ĐẶC TRƯNG CHO BÀI TOÁN SINH TẬP LUẬT SPAMASSASSIN .............................................................................................. 64 2.2.1. Quy trình xây dựng tập luật SpamAssassin với mạng nơ-ron ............................................. 64 2.2.2. Tiền xử lý và biểu diễn dữ liệu ........................................................................................... 66 2.2.3. Mô hình mạng nơ-ron ......................................................................................................... 67 2.2.4. Tạo tập luật SpamAssassin ................................................................................................. 71 2.3. ỨNG DỤNG TỐI ƯU HÓA ĐA MỤC TIÊU ĐỂ XÁC ĐỊNH ĐIỂM SỐ CHO TẬP LUẬT SPAMASSASSIN ............................................................................................................................. 71 2.3.1. Ứng dụng tối ưu hóa đa mục tiêu để sinh tập luật SpamAssassin ...................................... 72 2.3.2. Ứng dụng phương pháp tối ưu hóa Pareto .......................................................................... 73 2.3.3. Các giải thuật tiến hóa đa mục tiêu ..................................................................................... 74 2.3.4. Ứng dụng SPEA-II để giải quyết bài toán .......................................................................... 75 2.4. THỰC NGHIỆM ....................................................................................................................... 76 2.4.1. Thí nghiệm ứng dụng mạng nơ-ron để sinh tập luật SpamAssassin ................................... 76 2.4.2. Thí nghiệm ứng dụng SPEA-II để sinh tập luật .................................................................. 77 2.5. KẾT LUẬN CHƯƠNG 2 .......................................................................................................... 82 CHƯƠNG 3: DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG THƯ ĐIỆN TỬ ............... 84 3.1. MỞ ĐẦU ................................................................................................................................... 84 3.1.1. Những khó khăn, tồn tại ...................................................................................................... 84 3.1.2. Hướng tiếp cận giải quyết bài toán ..................................................................................... 85 3.2. DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG VỚI TẬP LUẬT SPAMASSASSIN................... 86 3.2.1. Xây dựng máy phân loại nhị phân ...................................................................................... 87 3.2.2. Xây dựng máy phân loại đa lớp .......................................................................................... 88 3.3. ÁP DỤNG LUẬT HAM ĐỂ CẢI THIỆN TẬP LUẬT SPAMASSASSIN TRONG BÀI TOÁN DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG .................................................................................... 92 3.3.1. Tự động gán nhãn cho dữ liệu ............................................................................................. 92 3.3.2. Sinh tập luật SpamAssassin với luật Ham .......................................................................... 94 3.4. ỨNG DỤNG PHƯƠNG PHÁP SD1 TRONG MÔ HÌNH DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG ............................................................................................................................................... 95 3.4.1. Cải tiến máy phân loại nhị phân trong mô hình phân loại đa lớp ....................................... 95 3.4.2. Cải thiện trong khâu tiền xử lý dữ liệu................................................................................ 96 3.4.3. Sinh tập luật SpamAssassin dựa trên mạng nơ-ron ............................................................. 97 3.5. THỰC NGHIỆM ....................................................................................................................... 97 3.5.1. Tiêu chí đánh giá ................................................................................................................. 97 3.5.2. Thí nghiệm .......................................................................................................................... 98 v 3.6. KẾT LUẬN CHƯƠNG 3 .......................................................................................................... 99 CHƯƠNG 4: XẾP HẠNG THƯ ĐIỆN TỬ ............................................................... 102 4.1. MỞ ĐẦU ................................................................................................................................. 102 4.1.1. Những khó khăn và tồn tại ................................................................................................ 103 4.1.2. Hướng tiếp cận của bài toán .............................................................................................. 104 4.2. XẾP HẠNG THƯ ĐIỆN TỬ BẰNG PHƯƠNG PHÁP HỌC SÂU ....................................... 106 4.2.1. Phương pháp học sâu trong xử lý thư điện tử ................................................................... 106 4.2.2. Tiền xử lý dữ liệu .............................................................................................................. 108 4.2.3. Biểu diễn đặc trưng mạng xã hội ...................................................................................... 109 4.2.4. Biểu diễn đặc trưng nội dung ............................................................................................ 109 4.2.5. Cấu trúc mạng nơ-ron ....................................................................................................... 111 4.2.6. Huấn luyện mạng nơ-ron .................................................................................................. 112 4.3. XẾP HẠNG THƯ ĐIỆN TỬ DỰA TRÊN SPAMASSASSIN ............................................... 114 4.3.1. Xây dựng máy phân loại nhị phân .................................................................................... 115 4.3.2. Các phương án phân loại đa lớp ........................................................................................ 116 4.4. THỰC NGHIỆM ..................................................................................................................... 117 4.4.1. Tiêu chí đánh giá ............................................................................................................... 117 4.4.2. So sánh các thuật toán tối ưu mạng nơ-ron (thí nghiệm 1) ............................................... 118 4.4.3. So sánh các phương án word embedding (thí nghiệm 2) .................................................. 120 4.4.4. So sánh một số phương pháp xếp hạng thư điện tử (thí nghiệm 3) ................................... 120 4.5. KẾT LUẬN CHƯƠNG 4 ........................................................................................................ 122 KẾT LUẬN ................................................................................................................ 124 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ ......................................................... 127 TÀI LIỆU THAM KHẢO .......................................................................................... 128 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CLI Command Line Interface Giao diện dòng lệnh DAG Directed Acyclic Graph Đồ thị định hướng không tuần hoàn DAGSVM Directed Acyclic Graph Support Vector Machine Đồ thị định hướng không tuần hoàn với máy vector hỗ trợ ESP Email Service Provider Nhà cung cấp dịch vụ thư điện tử FAR False Alarm Rate Tỷ lệ cảnh báo nhầm GD Gradient Descent Thuật toán xuống dốc DKIM DomainKeys Identified Mail Giao thức xác thực người gửi DomainKeys DMARC Domain-based Message Authentication, Reporting and Conformance Giao thức chứng thực, tố cáo và kiểm tra thông điệp dựa trên tên miền HTML Hyper Text Markup Language Ngôn ngữ đánh dấu siêu văn bản IETF Internet Engineering Task Force Tổ chức thiết kế và phát triển Internet quốc tế ISP Internet Service Provider Nhà cung cấp dịch vụ Internet LMTP Local Mail Transfer Protocol Giao thức truyền tải thư cục bộ MDA Mail Delivery Agent Trình chuyển phát thư MIME Multipurpose Internet Mail Extensions Giao thức mở rộng thư điện tử Internet đa mục đích MLP Multi-Layer Perceptron Mạng perceptron nhiều lớp MTA Mail Transfer Agent Trình truyền tải thư MUA Mail User Agent Trình duyệt thư điện tử OB-MC Order-Based Most Confident Bỏ phiếu tự tin nhất có thứ tự OB-MV Order-Based Majority Voting Bỏ phiếu đa số có thứ tự OVA One versus All Một đối với tất cả OVO One versus One Một đối với một OVR One versus Rest Một đối với những cái khác POP Post Office Protocol Giao thức bưu điện RBL Realtime Black List Danh sách đen thời gian thực RFC Request For Comments Yêu cầu bình luận SGD Stochastic Gradient Descent Thuật toán xuống dốc ngẫu nhiên SMS Short Message Service Dịch vụ tin nhắn ngắn SMTP Simple Message Transfer Protocol Giao thức truyền thông điệp đơn giản SPF Sender Policy Framework Bộ quy định dành cho người gửi thư SVM Support Vector Machine Máy vector hỗ trợ SVOR Support Vector Ordinal Regression Hồi quy thứ bậc dựa trên máy vector hỗ trợ TCP Transmission Control Protocol Giao thức điều khiển truyền dẫn TF Term Frequency Tần số từ khóa vii TF-IDF Term Frequency – Inverse Document Frequency Tần số từ khóa – Tần số tài liệu nghịch đảo TLS Transport Layer Security Giao thức bảo mật tầng giao vận TREC Text REtrieval Conference Hội nghị về khai phá dữ liệu văn bản UCE Unsolicited Commercial Email Thư quảng cáo không mong muốn UBE Unsolicited Bulk Email Thư gửi hàng loạt không mong muốn viii DANH MỤC CÁC BẢNG, BIỂU Bảng 1.1: Các tập dữ liệu công khai về thư điện tử ..................................................... 47 Bảng 1.2: Thống kê độ dài thư của tập dữ liệu thư điện tử tiếng Việt. ........................ 56 Bảng 1.3: Thống kê về người gửi thư của tập dữ liệu thư điện tử tiếng Việt. ............. 57 Bảng 1.4: Phân bổ thư theo nhãn của tập dữ liệu thư điện tử tiếng Việt...................... 57 Bảng 2.1: Kết quả so sánh một số phương pháp sinh tập luật SpamAssassin ............. 77 Bảng 2.2: Số lượng thư điện tử dùng trong các kịch bản. ............................................ 78 Bảng 2.3: Các tham số của thuật toán SPEA-II............................................................ 78 Bảng 2.4: So sánh hai phương pháp SSOA và SPEA-II trong kịch bản 1 ................... 80 Bảng 2.5: So sánh hai phương pháp SSOA và SPEA-II trong kịch bản 2 ................... 82 Bảng 3.1: Kết quả thí nghiệm so sánh các phương pháp UAP1, UAP2 và UAP3 ......... 99 Bảng 4.1: Kết quả so sánh ba thuật toán huấn luyện mạng nơ-ron ............................ 119 Bảng 4.2: Kết quả thí nghiệm so sánh các cấu hình word embedding khác nhau. .... 120 Bảng 4.3: So sánh phương pháp EP2 với phương pháp EP1 và YooEP ..................... 121 ix DANH MỤC CÁC HÌNH VẼ Hình 1.1: Mô hình xử lý thư điện tử tổng quát ............................................................. 11 Hình 1.2: Mô hình gửi và nhận thư phổ biến ............................................................... 11 Hình 1.3: Các thông điệp khi sử dụng giao thức SMTP để gửi một bức thư ............... 12 Hình 1.4: Một luật từ khóa của SpamAssassin áp dụng với phần body. ..................... 19 Hình 1.5: Nội dung bức thư bị SpamAssassin đánh dấu là thư rác .............................. 20 Hình 1.6: Đồ thị của hàm kích hoạt sigmoid của mạng perceptron ............................. 23 Hình 1.7: Lọc thư rác bằng mạng nơ-ron 2 lớp ẩn dựa trên hành vi người gửi ........... 29 Hình 1.8: Công cụ gán nhãn thư với chức năng phát hiện thư tương tự. ..................... 53 Hình 1.9: Phân bổ độ dài thư của tập dữ liệu thư điện tử tiếng Việt. ........................... 56 Hình 2.1: Ví dụ về nội dung của một bức thư rác lừa đảo ........................................... 60 Hình 2.2: So sánh hai quy trình tự động sinh tập luật SpamAssassin .......................... 65 Hình 2.3: Cấu trúc mạng nơ-ron với hai thành phần .................................................... 69 Hình 2.4: Đồ thị của hàm kích hoạt tanh. ..................................................................... 70 Hình 2.5: Kết quả kịch bản thí nghiệm 1 với bộ lọc 30 luật ........................................ 79 Hình 2.6: Kết quả kịch bản thí nghiệm 1 với bộ lọc 100 luật ...................................... 80 Hình 2.7: Kết quả kịch bản thí nghiệm 2 với bộ lọc 30 luật ........................................ 81 Hình 2.8: Kết quả kịch bản thí nghiệm 2 với bộ lọc 100 luật ...................................... 81 Hình 3.1: Cấu t