Luận án Khai phá quan điểm với kỹ thuật học sâu

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐÀ NẴNG – 2023 ii ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU (Opinion mining with deep learning) Ngành: Khoa học máy tính Mã số: 9.48.01.01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Cán bộ hướng dẫn: 1. TS. Hoàng Thị Thanh Hà 2. TS. Đặng Hoài Phương ĐÀ NẴNG – 2023 iii LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn của TS. Hoàng Thị Thanh Hà và TS. Đặng Hoài Phương. Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Mọi trích dẫn trong luận án đều đề cập đến nguồn gốc xuất xứ rõ ràng và đầy đủ. Tác giả Trần Uyên Trang iv MỤC LỤC LỜI CAM ĐOAN ........................................................................................................III MỤC LỤC .................................................................................................................... IV DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT .................................................... VII DANH MỤC BẢNG .................................................................................................... IX DANH MỤC HÌNH ...................................................................................................... X PHẦN MỞ ĐẦU ............................................................................................................ 1 1. TÍNH CẤP THIẾT CỦA LUẬN ÁN ........................................................................... 1 2. MỤC TIÊU, ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU CỦA LUẬN ÁN ...................... 4 3. CÁC ĐÓNG GÓP CỦA LUẬN ÁN ............................................................................. 5 4. BỐ CỤC CỦA LUẬN ÁN .......................................................................................... 6 CHƯƠNG 1- TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬT HỌC SÂU ....................................................................................................................... 9 1.1. KHAI PHÁ QUAN ĐIỂM ......................................................................................... 9 1.2. CÁC CẤP ĐỘ KHAI PHÁ QUAN ĐIỂM .................................................................. 11 1.2.1. Khai phá quan điểm mức tài liệu .............................................................. 12 1.2.2. Khai phá quan điểm mức câu .................................................................... 12 1.2.3. Khai phá quan điểm mức khía cạnh hay mức đặc trưng ......................... 12 1.3. CÁC HƯỚNG NGHIÊN CỨU KHAI PHÁ QUAN ĐIỂM ............................................ 13 1.3.1. Hướng tiếp cận dựa trên ngữ liệu ............................................................. 14 1.3.2. Hướng tiếp cận máy học ............................................................................ 14 1.3.3. Các nghiên cứu liên quan ......................................................................... 16 1.4. MỘT SỐ HẠN CHẾ CỦA CÁC TIẾP CẬN KHAI PHÁ QUAN ĐIỂM HIỆN NAY ......... 24 1.5. HỌC SÂU VÀ NHÓM KỸ THUẬT HỌC SÂU ĐƯỢC SỬ DỤNG TRONG CÁC MÔ HÌNH KHAI PHÁ QUAN ĐIỂM ĐỀ XUẤT ..................................................................... 30 1.5.1. Học sâu ....................................................................................................... 30 v 1.5.2. Các kỹ thuật học sâu phổ biến dùng trong xử lý ngôn ngữ tự nhiên và khai phá quan điểm ............................................................................................... 34 1.6. ĐỀ XUẤT NGHIÊN CỨU: KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU ........ 46 1.7. KẾT LUẬN CHƯƠNG 1 ........................................................................................ 47 CHƯƠNG 2-TRÍCH RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂM VỚI HƯỚNG TIẾP CẬN HỌC SÂU ................................................................................ 49 2.1. TRÍCH RÚT KHÍA CẠNH VỚI HƯỚNG TIẾP CẬN HỌC SÂU .................................. 49 2.2. MÔ HÌNH TRÍCH RÚT KHÍA CẠNH VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT ................ 54 2.2.1. Mô hình tích hợp BiGRU-CRF cho trích rút khía cạnh .......................... 55 2.2.2. Mô hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh ............... 59 2.3. KẾT QUẢ THỰC NGHIỆM.................................................................................... 64 2.3.1. Tập dữ liệu và công cụ sử dụng trong thực nghiệm ................................ 64 2.3.2. Kết quả thực nghiệm và đánh giá hiệu quả trích rút khía cạnh .............. 65 2.4. KẾT LUẬN CHƯƠNG 2 ........................................................................................ 67 CHƯƠNG 3-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI HƯỚNG TIẾP CẬN HỌC SÂU ................................................................................ 68 3.1. KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ........................................ 68 3.2. MÔ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI TIẾP CẬN HỌC SÂU ĐỀ XUẤT .......................................................................................... 69 3.2.1. Mô hình CNN-BiGRU cho trích rút khía cạnh và quan điểm ................. 71 3.2.2. Mô hình CNN-IOB2 cho trích rút từ mục tiêu ......................................... 76 3.2.3. Mô hình MABSA cho trích rút và phân loại ba tác vụ tiếp theo: khía cạnh, thực thể và quan điểm................................................................................. 82 3.3. KẾT QUẢ THỰC NGHIỆM CÁC MÔ HÌNH ............................................................ 89 3.3.1. Tập dữ liệu và công cụ sử dụng trong thực nghiệm ................................ 90 3.3.2. Kết quả thực nghiệm, đánh giá hiệu quả khai phá quan điểm đa tác vụ 91 3.4. KẾT LUẬN CHƯƠNG 3 ........................................................................................ 97 CHƯƠNG 4-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ, ĐA MIỀN VỚI HƯỚNG TIẾP CẬN HỌC SÂU ............................................................ 99 vi 4.1. KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA MIỀN .......................................... 101 4.2. MÔ HÌNH KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN ĐỀ XUẤT ............................................................................................................. 102 4.2.1. Mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM . 103 4.2.2. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền CNN- BiIndyLSTM-Attention ....................................................................................... 110 4.3. KẾT QUẢ THỰC NGHIỆM.................................................................................. 115 4.3.1. Tập dữ liệu và công cụ sử dụng trong thực nghiệm .............................. 116 4.3.2. Kết quả thực nghiệm và đánh giá hiệu quả khai phá quan điểm đa tác vụ trên đơn miền và đa miền ................................................................................... 117 4.4. KẾT LUẬN CHƯƠNG 4 ...................................................................................... 124 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ............................................................... 126 KẾT LUẬN ................................................................................................................ 126 HƯỚNG PHÁT TRIỂN ............................................................................................... 132 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ ........................ 133 TÀI LIỆU THAM KHẢO ........................................................................................ 135 vii DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT STT Thuật ngữ Tiếng Anh Viết tắt 1 Đơn vị tuyến tính được chỉnh lưu Rectified Linear Unit ReLU 2 Học máy Machine learning ML 3 Học sâu Deep learning DL 4 Khai phá quan điểm/Phân tích cảm xúc Opinion mining/Sentiment analysis OM/SA 5 Khai phá quan điểm mức tài liệu Document_based sentiment analysis DBSA 6 Khai phá quan điểm mức câu Sentence_based sentiment analysis SBSA 7 Khai phá quan điểm mức khía cạnh/đặc trưng Aspect/Feature_based sentiment analysis ABSA 8 Khai phá quan điểm mức khía cạnh/đặc trưng đa tác vụ Multitask aspect/feature_based sentiment analysis MABSA 9 Khai phá quan điểm mức khía cạnh/đặc trưng đa miền Multidomain aspect/feature_based sentiment analysis 10 Ma trận đồng xuất hiện Co-occurrence matrix 11 Mạng neural hồi quy Recurrent Neural Network RNN 12 Mạng neural hồi quy hai chiều Bidirectional Recurrent Neural Network BiRNN 13 Mạng bộ nhớ ngắn dài Long_Short Term Memory LSTM 14 Mạng bộ nhớ ngắn dài hai chiều Bidirectional Long_Short Term Memory BiLSTM 15 Mạng bộ nhớ ngắn dài độc lập Independently Long_Short Term Memory IndyLSTM 16 Mạng bộ nhớ ngắn dài độc lập hai chiều Bidirectional Independently Long_Short Term Memory BiIndyLSTM 17 Mạng đơn vị hồi quy có cổng Gated Recurrent Unit GRU 18 Mạng đơn vị hồi quy có cổng hai chiều Bidirectional Gated Recurrent Unit BiGRU 19 Mạng neural đệ quy Recursive Neural Network 20 Mạng neural tích chập Convolutional Neural Network CNN 21 Máy vector hỗ trợ Support Vector Machine SVM 22 Mô hình Markov ẩn Hidden Markov Models HMM 23 Phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation LDA 24 Phân loại miền Domain classification 25 Phân loại quan điểm Sentiment classification 26 Phân rã đạo hàm Gradient decay 27 Phân tích ngữ nghĩa tiềm ẩn Latent Semantic Analysis LSA 28 Phân tích ngữ nghĩa tiềm ẩn xác suất Probabilistic Latent Semantic Analysis pLSA 29 Quan điểm Opinion 30 Quan điểm tích cực Positive opinion 31 Quan điểm tiêu cực Negative opinion 32 Quan điểm trung lập Neutral opinion viii 33 Quá khớp Overfitting 34 Trích rút khía cạnh Aspect extraction 35 Trích rút từ mục tiêu quan điểm Opinion target extraction 36 Trích rút thực thể Entity extraction 37 Trường ngẫu nhiên có điều kiện Conditional Random Field CRF 38 Triệt tiêu/bùng nổ đạo hàm Vanishing/exploding gradient 39 Vector toàn cục Global Vector GloVe ix DANH MỤC BẢNG Bảng 1.1. Các mô hình khai phá quan điểm dựa trên hướng tiếp cận ngữ liệu nổi bật và hiệu suất của các mô hình ................................................................................................................. 26 Bảng 1.2. Các mô hình khai phá quan điểm dựa trên hướng tiếp cận máy học nổi bật và hiệu suất của các mô hình ................................................................................................................. 27 Bảng 2.1. Tập dữ liệu SemEval 2014 ....................................................................................... 65 Bảng 2.2. So sánh độ đo F1 trên mô hình BiGRU-CRF và Bi-IndyLSTM-CRF với các mô hình hiện có ....................................................................................................................................... 65 Bảng 3.1. Sử dụng miền Restaurant trong tập dữ liệu SemEval 2016 cho thực nghiệm ......... 90 Bảng 3.2. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất của luận án trong Chương 2 và Chương 3 trên miền Laptop của tập dữ liệu SemEval 2014 ............................... 92 Bảng 3.3. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất của luận án trong Chương 2 và Chương 3 trên miền Restaurant của tập dữ liệu SemEval 2014 ......................... 92 Bảng 3.4. Kết quả thực nghiệm xét trên độ đo F1 và Accuracy của các mô hình hiện có và mô hình CNN-IOB2 trên miền Restaurant của SemEval 2016 ...................................................... 95 Bảng 3.5. Kết quả thực nghiệm mô hình MABSA đề xuất xét trên các độ đo Precision, Recall, F1 và Accuracy trên miền Restaurant của tập SemEval 2016 .................................................. 96 Bảng 4.1. Tập dữ liệu huấn luyện gồm các đơn miền Restaurant, Laptop của tập SemEval 2016, đa miền Laptop_Restaurant, và đa miền Laptop_Restaurant_Hotel ...................................... 117 Bảng 4.2. Trích rút khía cạnh xét trên độ đo Precision, Recall và F1 của hai mô hình đề xuất so với các mô hình hiện có trên miền Laptop và Restaurant....................................................... 118 Bảng 4.3. Kết quả thực nghiệm mô hình CNN-BiLSTM trên đa miền Laptop_Restaurant .. 120 Bảng 4.4. Kết quả thực nghiệm mô hình CNN-BiIndyLSTM-Attention trên đa miền Laptop_Restaurant_Hotel ....................................................................................................... 121 Bảng 4.5. Trích rút khía cạnh xét trên độ đo Precision, Recall và F1 của hai mô hình đề xuất so với các mô hình hiện có trên đơn miền Restaurant, đa miền Laptop_Restaurant và đa miền Laptop_Restaurant_Hotel ....................................................................................................... 122 Bảng 5.1. Bảng tổng hợp đặc điểm của các mô hình khai phá quan điểm đề xuất ................ 128 x DANH MỤC HÌNH Hình 1.1. Các cấp độ cụ thể trong khai phá quan điểm............................................................ 12 Hình 1.2. Mô hình mạng neural đơn giản gồm 1 lớp ẩn .......................................................... 32 Hình 1.3. Mô hình mạng học sâu gồm 3 lớp ẩn ....................................................................... 33 Hình 1.4. Mạng neural tích chập .............................................................................................. 35 Hình 1.5. Tính toán với MaxPooling ....................................................................................... 36 Hình 1.6. Mô hình CNN trong xử lý văn bản .......................................................................... 37 Hình 1.7. Mô hình mạng RNN và các tính toán bên trong RNN ............................................. 38 Hình 1.8. Cấu trúc của mô-đun trong RNN ............................................................................. 40 Hình 1.9. Cấu trúc của mô-đun trong LSTM ........................................................................... 40 Hình 1.10. Cấu trúc chi tiết của một mô-đun LSTM ............................................................... 41 Hình 1.11. Cấu trúc mạng BiLSTM ......................................................................................... 42 Hình 1.12. Cấu trúc cơ bản của GRU ...................................................................................... 43 Hình 1.13. Cấu trúc mạng BiGRU ........................................................................................... 44 Hình 1.14. Cấu trúc mạng Bidirectional IndyLSTM ............................................................... 45 Hình 2.1. Quy trình trích rút khía cạnh của mô hình BiGRU-CRF ......................................... 56 Hình 2.2. Cấu trúc mô hình BiGRU-CRF cho trích rút khía cạnh trong câu quan điểm ......... 58 Hình 2.3. Quy trình trích rút khía cạnh của mô hình Bi-IndyLSTM-CRF .............................. 61 Hình 2.4. Cấu trúc mô hình Bi-IndyLSTM-CRF cho trích rút khía cạnh trong câu quan điểm .................................................................................................................................................. 63 Hình 2.5. Biểu đồ so sánh độ chính xác F1 của hai mô hình đề xuất với các mô hình đã được đánh giá cao trước đây .............................................................................................................. 66 Hình 3.1. Quy trình trích rút, phân loại khía cạnh và quan điểm của mô hình CNN-BiGRU . 74 Hình 3.2. Cấu trúc mô hình CNN-BiGRU cho khai phá quan điểm mức khía cạnh trích rút đồng thời khía cạnh và quan điểm ..................................................................................................... 75 Hình 3.3. Quy trình trích rút từ mục tiêu của mô hình CNN-IOB2 ......................................... 79 Hình 3.4. Cấu trúc mô hình CNN-IOB2 cho trích rút từ mục tiêu........................................... 82 Hình 3.5. Quy trình trích rút, phân loại khía cạnh, thực thể và quan điểm của mô hình MABSA .................................................................................................................................................. 86 Hình 3.6. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ MABSA cho phân loại khía cạnh, thực thể và quan điểm....................................................................................... 88 xi Hình 3.7. So sánh độ chính xác của tác vụ trích rút khía cạnh xét trên độ đo F1 của các mô hình hiện có so với mô hình CNN-BiGRU đề xuất .......................................................................... 93 Hình 3.8. So sánh độ chính xác của tác vụ phân loại quan điểm xét trên độ đo Accuracy của mô hình hiện có so với mô hình CNN-BiGRU đề xuất .................................................................. 94 Hình 3.9. Biểu đồ so sánh độ chính xác của mô hình đề xuất với các mô hình hiện có xét trên độ đo F1 và Accuracy ............................................................................................................... 96 Hình 3.10. Biểu đồ biểu diễn độ đo Precision, Recall, F1 và Accuracy của mô hình MABSA đề xuất............................................................................................................................................ 97 Hình 4.1. Quy trình thực hiện của mô hình khai phá quan điểm mức khía cạnh đa miền CNN- BiLSTM .................................................................................................................................. 106 Hình 4.2. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM .... 107 Hình 4.3. Quy trình thực hiện của mô hình CNN-BiIndyLSTM-Attention ........................... 113 Hình 4.4. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền .............. 114 Hình 4.5. Biểu đồ so sánh độ chính xác thực thi tác vụ trích rút khía cạnh của mô hình CNN- BiLSTM đề xuất với các mô hình hiện có trên miền Restaurant ............................................ 115 Hình 4.6. Biểu đồ so sánh độ chính xác thực thi tác vụ trích rút khía cạnh của mô hình CNN- BiIndyLSTM-Attention đề xuất với các mô hình hiện có trên miền Restaurant .................... 120 Hình 4.7. Kết quả thực thi mô hình đa tác vụ CNN-BiIndyLSTM-Attention đề xuất với các độ đo Precision, Recall, F1 và Accuracy trên đa miền Laptop_Restaurant_Hotel ...................... 122 PHẦN MỞ ĐẦU 1. Tính cấp thiết của luận án Trong kỷ nguyên bùng nổ thông tin hiện nay, với sự phát triển mạnh mẽ và nhanh chóng của các nền tảng truyền thông xã hội, thương mại điện tử, người dùng không chỉ chia sẻ thông tin mà còn có thể bày tỏ thái độ, quan điểm cá nhân trực tiếp trên những nền tảng này. Cụ thể là những bình luận, đánh giá, chia sẻ kinh nghiệm của cộng đồng đối với các sản phẩm, dịch vụ mà họ đã từng trải nghiệm; các quan điểm của cộng đồng đối với một chính sách mới hay đối với một nhân vật có tầm ảnh hưởng lớn; và một số vấn đề khác thông qua mạng xã hội, các diễn đàn, blog cá nhânThông tin từ các bình luận, chia sẻ, quan điểm dạng này đã ảnh hưởng trực tiếp đến suy nghĩ, tâm tư, nguyện vọng, hành vi của người dùng toàn cầu. Lượng thông tin này đã và đang là một khối dữ liệu khổng lồ không ngừng tăng lên từng ngày từng giờ một cách khó kiểm soát. Đặc biệt từ năm 2020 đến nay, do ảnh hưởng của dịch bệnh Covid 19 cùng với những diễn biến phức tạp của đại dịch, thương mại điện tử đã tăng trưởng ngoạn mục dựa trên lựa chọn ngày càng nhiều của người tiêu dùng. Đối với