Luận án Phát hiện một số sự kiện bất thường dựa trên hình ảnh sử dụng mô hình phân cấp

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- VŨ HOÀI NAM PHÁT HIỆN MỘT SỐ SỰ KIỆN BẤT THƯỜNG DỰA TRÊN HÌNH ẢNH SỬ DỤNG MÔ HÌNH PHÂN CẤP LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2023 BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- VŨ HOÀI NAM PHÁT HIỆN MỘT SỐ SỰ KIỆN BẤT THƯỜNG DỰA TRÊN HÌNH ẢNH SỬ DỤNG MÔ HÌNH PHÂN CẤP CHUYÊN NGÀNH: KỸ THUẬT MÁY TÍNH MÃ SỐ: 9.48.01.06 LUẬN ÁN NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS.TS. Phạm Văn Cường HÀ NỘI - 2023 i LỜI CAM ĐOAN Tôi xin cam đoan dưới đây là luận án tốt nghiệp của riêng tôi, dưới sự hướng dẫn của PGS.TS. Phạm Văn Cường – Học Viện Công Nghệ Bưu Chính Viễn Thông. Tất cả những kết quả và số liệu trong luận án này là trung thực và có được từ những nghiên cứu mà tôi và thầy hướng dẫn thực hiện trong quá trình làm luận án. Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Vũ Hoài Nam ii LỜI CẢM ƠN Để hoàn thành được luận án này, trước hết, tôi xin bày tỏ lòng biết ơn sâu sắc nhất tới thầy hướng dẫn của tôi là PGS.TS. Phạm Văn Cường vì sự hướng dẫn tận tình, những lời khuyên, sự lắng nghe và khích lệ trong quá trình thực hiện luận án. Thầy không chỉ truyền cho tôi các kiến thức chuyên môn mà còn giúp tôi cải thiện nhiều kỹ năng trong nghiên cứu khoa học và cuộc sống. Tôi sẽ không quên khoảng thời gian dài cùng thầy đi thực địa thu thập dữ liệu, thực hiện các thử nghiệm, mô phỏng và triển khai hệ thống. Các buổi thảo luận thường xuyên vào mỗi tối với nhóm nghiên cứu. Thầy đã định hướng, hướng dẫn và giúp tôi chỉnh sửa các bài báo cũng như bản thảo luận án tiến sĩ này. Tôi đã học hỏi được rất nhiều điều, một lần nữa, tôi xin gửi lời cảm ơn chân thành tới thầy hướng dẫn của tôi. Tôi xin chân thành cảm ơn Lãnh đạo, các thầy, cô giáo của Khoa Đào tạo Sau đại học, Học viện Công nghệ Bưu chính Viễn thông đã hướng dẫn, giúp đỡ, tạo điều kiện thuận lợi cho tôi trong thời gian học tập, nghiên cứu và thực hiện luận án. Tôi xin gửi lời cảm ơn đặc biệt đến Quỹ đổi mới sáng tạo VINGROUP (VINIF), Viện nghiên cứu dữ liệu lớn (VINBIGDATA), đã chấp nhận hồ sơ ứng tuyển và tài trợ học bổng đào tạo Tiến sĩ trong nước cho tôi. Đây là nguồn kinh phí thiết thực, giúp tôi tập trung vào công việc nghiên cứu và hoàn thành đúng hạn chương trình nghiên cứu sinh của mình. Tôi xin chân thành cảm ơn Lãnh đạo và các đồng nghiệp tại Khoa Công nghệ thông tin 1, Học viện Công nghệ Bưu chính Viễn thông, đã giúp đỡ, tạo điều kiện công tác thuận lợi, giúp tôi tập trung hoàn thành luận án. Cuối cùng, tôi xin cảm ơn gia đình luôn bên cạnh giúp tôi vượt qua những khó khăn, thách thức trong suốt quá trình làm luận án. Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh iii MỤC LỤC LỜI CAM ĐOAN ................................................................................................................ i LỜI CẢM ƠN ..................................................................................................................... ii DANH MỤC TỪ VIẾT TẮT .............................................................................................. v DANH MỤC KÝ HIỆU .................................................................................................... vii DANH MỤC HÌNH VẼ ..................................................................................................... ix DANH MỤC BẢNG .......................................................................................................... xi MỞ ĐẦU ............................................................................................................................. 1 CHƯƠNG 1. TỔNG QUAN VỀ GIÁM SÁT SỰ KIỆN BẤT THƯỜNG BẰNG THỊ GIÁC MÁY TÍNH VÀ HỌC MÁY ................................................................................. 11 1.1. Tổng quan về sự kiện bất thường ........................................................................ 11 1.2. Dữ liệu cho phát hiện sự kiện bất thường ............................................................ 15 1.2.1. Bộ dữ liệu phát hiện sự kiện bất thường tĩnh ................................................ 16 1.2.2. Bộ dữ liệu phát hiện sự kiện bất thường động .............................................. 19 1.3. Học máy cho phát hiện sự kiện bất thường ......................................................... 22 1.4. Các nghiên cứu liên quan .................................................................................... 24 1.4.1. Phát hiện sự kiện bất thường tĩnh ................................................................. 25 1.4.2. Phát hiện sự kiện bất thường động ............................................................... 28 1.5. Kết luận chương .................................................................................................. 33 CHƯƠNG 2. ĐỀ XUẤT MÔ HÌNH PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TĨNH SỬ DỤNG MẠNG PHÂN CẤP ....................................................................................... 35 2.1. Mô hình hệ thống ................................................................................................. 36 2.2. Phát hiện hố sụt trong ảnh nhiệt thu về từ UAV ................................................. 38 2.2.1. Phát hiện hố sụt bằng mô hình mạng phân cấp ............................................ 40 2.2.2. Bám vết hố sụt bằng thuật toán Hungary ...................................................... 49 2.2.3. Kết quả thực nghiệm ..................................................................................... 51 2.3. Phát hiện đường sạt lở trong ảnh thu về từ UAV ................................................ 63 2.3.1. Phân đoạn đường .......................................................................................... 65 2.3.2. Phát hiện sạt lở bằng mô hình phân cấp ....................................................... 66 2.3.3. Kết quả thực nghiệm ..................................................................................... 71 2.4. Kết luận chương .................................................................................................. 83 iv CHƯƠNG 3. ĐỀ XUẤT MÔ HÌNH PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG ĐỘNG SỬ DỤNG MẠNG PHÂN CẤP ....................................................................................... 86 3.1. Mô hình hệ thống ................................................................................................. 86 3.2. Phát hiện lửa sử dụng mô hình mạng phân cấp ................................................... 89 3.2.1. Trích xuất đặc trưng các đối tượng nghi ngờ là lửa trong từng khung ảnh .. 92 3.2.2. Trích xuất đặc trưng thời gian của đối tượng sử dụng mô hình BiLSTM .... 96 3.2.3. Bộ dữ liệu lửa trong video FirePTIT ............................................................ 98 3.2.4. Kết quả thực nghiệm ................................................................................... 102 3.3. Kết luận chương ................................................................................................ 112 KẾT LUẬN ..................................................................................................................... 114 DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ ................................................................ 117 TÀI LIỆU THAM KHẢO ............................................................................................... 118 v DANH MỤC TỪ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt 1DCNN 1 Dimensional CNN Mạng CNN một chiều 2DCNN 2 Dimensional CNN Mạng CNN hai chiều 3DCNN 3 Dimensional CNN Mạng CNN ba chiều AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơ ron nhân tạo BoVW Bag-of-Visual-Word Túi từ trực quan hóa CNN Convolutional Neural Network Mạng nơ ron tích chập CRF Conditional Random Field Trường ngẫu nhiên có điều kiện DBN Deep Belief Network Mạng niềm tin sâu DEM Digital Elevation Models Mô hình độ cao số DRN Deep Recurrent Network Mạng lặp lại sâu GIS Geographic Information System Hệ thống thông tin địa lý GPS Global Positioning System Hệ thống định vị toàn cầu HA Hungarian Algorithm Thuật toán Hungary HM Hierarchical Model Mô hình phân cấp HMM Hidden Markov Model Mô hình Markov ẩn HN Hierarchical Network Mạng phân cấp IoT Internet of Things Internet vạn vật ISTL Incremental Spatiotemporal Learner Bộ học không-thời gian gia tăng LiDAR Light Detection and Ranging Vùng và phát hiện ánh sáng LSTM Long Short Term Memory Mạng bộ nhớ dài ngắn hạn vi NAIP National Agriculture Imagery Program Chương trình ảnh vệ tinh nông nghiệp quốc gia RCNN Region Based Convolutional Neural Networks Mạng nơ ron tích chập dựa trên vùng RGB Red Green Blue Đỏ - xanh lá cây - xanh da trời RNN Recurrent Neural Network Mạng nơ ron hồi quy ROI Region of Interest Vùng quan tâm SVM Support Vector Machine Máy vector hỗ trợ TL Transfer Learning Học chuyển tiếp UAV Unmmaned Aerial Vehicle Thiết bị bay không người lái vii DANH MỤC KÝ HIỆU 𝐴𝑃 Chỉ số độ chính xác trung bình 𝐴𝑅 Chỉ số recall trung bình 𝐴(") Năng lượng nhấp nháy tích lũy 𝑐(") Trạng thái tế bào của mạng LSTM tại thời điểm t 𝑑 Giá trị chi phí trong thuật toán Hungary 𝐷(") Độ sáng của một điểm ảnh tại thời điểm t 𝐷𝑖𝑐𝑒(. ) Hàm chỉ số chồng lấn của đối tượng và nhãn 𝐸(") Năng lượng nhấp nháy của một điểm ảnh tại thời điểm t 𝐹𝑖𝑟𝑒 Giá trị dự đoán đối tượng là lửa hay không phải lửa 𝑓(") Giá trị tại cổng quên của tế bào trong mạng LSTM tại thời điểm t ℎ$(.) Hàm của bộ lọc tại tầng 1 ℎ%(.) Hàm của bộ lọc tại tầng 2 ℎ&''(.) Hàm của mô hình học sâu CNN ℎ()(.) Hàm của mô hình học sâu MobileNet trong bài toán phát hiện sạt lở ℎ* Độ dài của một tenor (Đối tượng liên kết Connected components) ℎ+,)-(.) Hàm của bộ lọc theo luật ℎ+-.'-" Hàm của mô hình học sâu Resnet trong bài toán phát hiện lửa 𝐻/! Ngưỡng dưới trên kênh màu H 𝐻/" Ngưỡng trên trên kênh màu H ℎ(") Giá trị trạng thái ẩn của tế bào trong mạng LSTM tại thời điểm t 𝐼𝑜𝑈(. ) Hàm chỉ số phần giao trên phần hợp của đối tượng 𝑖(") Giá trị tại lớp cổng vào của tế bào trong mạng LSTM tại thời điểm t viii 𝐼τ Tập hợp các tensor đầu vào 𝐽(.) Hàm Jaccard 𝐿! Giá trị mất mát ứng với chỉ số Jaccard 𝑁 Số lượng các tensor trong tập hợp 𝑂 Tập hợp các tensor đầu ra 𝑜(") Giá trị tại lớp cổng ra của tế bào trong mạng LSTM tại thời điểm t 𝑝 Xác suất điểm ảnh là một điểm ảnh thuộc đối tượng bất thường 𝑅/ Ngưỡng dưới trên kênh màu R 𝑠* Diện tích của một tenor (Đối tượng liên kết Connected components) 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(. ) Hàm softmax 𝑠𝑤𝑖𝑠ℎ(. ) Hàm Swish 𝑡𝑎𝑛ℎ(.) Hàm tanh 𝑡0/ Ngưỡng chồng lấn để xác định tỉ lệ phát hiện chính xác đối tượng bất thường 𝑤* Độ rộng của một tenor (Đối tượng liên kết Connected components) 𝑋&''(") Tập hợp các vector đặc trưng của các đối tượng có khả năng là đối tượng bất thường tại thời điểm t 𝑋12"&3 Cụm các vector đặc trưng của các bước thời gian trong quá khứ được trích xuất ra từ mô hình Resnet 𝑋+-.'-"(") Tập hợp các vector đặc trưng của các đối tượng có khả năng là đối tượng bất thường tại thời điểm t được trích xuất từ mô hình Resnet 𝑌 Đầu ra dự đoán của mô hình mạng nơ ron hồi quy RNN 𝛼 Hệ số tích lũy 𝜎(.) Hàm sigmoid τ Tensor ix DANH MỤC HÌNH VẼ Hình 1. 1. Các bước trong quá trình quản lý sự kiện bất thường ...................................... 12 Hình 1. 2. Hệ thống cảnh báo sự kiện bất thường ............................................................. 13 Hình 1. 3. Mô hình phát hiện sạt lở trong công trình [107] .............................................. 27 Hình 1. 4. Mô hình phát hiện lửa trong công trình [165] .................................................. 33 Hình 2. 1. Mô hình mạng phân cấp ................................................................................... 37 Hình 2.2. Mô hình đề xuất phát hiện hố sụt ...................................................................... 40 Hình 2.3. Các bước phát hiện hố sụt trong ảnh ................................................................. 42 Hình 2.4. Kiến trúc U-Net đề xuất .................................................................................... 43 Hình 2.5. Mã giả của bộ lọc dựa trên luật ℎ𝑟𝑢𝑙𝑒 .............................................................. 47 Hình 2.6. Kiến trúc mạng học sâu phân loại đối tượng hố sụt .......................................... 48 Hình 2. 7. Nhãn cho huấn luyện mô hình phân đoạn hố sụt ............................................. 51 Hình 2. 8. Dữ liệu trong tập dữ liệu huấn luyện mô hình MobileNet v3 .......................... 52 Hình 2.9. Hàm mất mát trong quá trình huấn luyện mô hình U-Net ................................ 53 Hình 2.10. Hàm mất mát trong quá trình huấn luyện mô hình MobileNet v3 .................. 54 Hình 2.11. Đồ thị ROC (Receiver Operating Characteristic) so sánh các phương pháp .. 58 Hình 2.12. Biểu đồ cột so sánh độ chính xác các phương pháp ....................................... 60 Hình 2.13. Luồng xử lý của hệ thống phát hiện sạt lở đường. .......................................... 64 Hình 2. 14. Các bước trong quá trình trích xuất đối tượng nghi ngờ sạt lở ...................... 68 Hình 2. 15. Kiến trúc mô hình phân cấp phát hiện sạt lở .................................................. 68 Hình 2. 16. Mã giả bộ lọc cho đối tượng nghi ngờ sạt lở ................................................. 70 Hình 2. 17. Quá trình tạo dữ liệu huấn luyện sạt lở .......................................................... 72 Hình 2. 18. Hình ảnh trong bộ dữ liệu sạt lở ..................................................................... 75 Hình 2. 19. Nhãn của dữ liệu trong bộ dữ liệu sạt lở ........................................................ 76 Hình 3.1. Mô hình mạng phân cấp phát hiện đối tượng bất thường động ........................ 87 Hình 3.2. Mô hình phát hiện lửa trong video sử dụng mạng CNN-BiLSTM ................... 91 Hình 3. 3. Bản đồ năng lượng biên của đối tượng lửa ...................................................... 93 Hình 3. 4. Bản đồ phân loại điểm ảnh lửa ......................................................................... 93 Hình 3. 5. Ví dụ kết hợp bản đồ năng lượng và bản đồ phân loại điểm ảnh trong phát hiện đối tượng lửa tiềm năng .................................................................................................... 94 x Hình 3. 6. Kiến trúc ResNet-18 ......................................................................................... 96 Hình 3. 7. Hoạt động của mạng LSTM ............................................................................. 98 Hình 3. 8. Ví dụ về khung hình chứa lửa trong tập dữ liệu kiểm tra .............................. 102 Hình 3. 9. Ví dụ về khung hình chứa đối tượng giống lửa trong tập dữ liệu kiểm tra .... 102 Hình 3. 10. Đường cong huấn luyện của mô hình đề xuất .............................................. 104 xi DANH MỤC BẢNG Bảng 2. 1. Tham số mô hình U-Net .................................................................................. 53 Bảng 2. 2. Tham số mô hình MobileNet ........................................................................... 54 Bảng 2. 3. Độ chính xác mô hình U-Net ........................................................................... 54 Bảng 2. 4. Kích thước mô hình U-Net .............................................................................. 55 Bảng 2. 5. Độ chính xác mô hình MobileNet ................................................................... 56 Bảng 2. 6. Điểm IoU trên từng Video ............................................................................... 61 Bảng 2. 7. Thời gian xử lý trên bo mạch nhúng ............................................................... 63 Bảng 2. 8. Tốc độ khung hình của mô hình đề xuất ......................................................... 63 Bảng 2. 9. Thống kê dữ liệu do mô hình sinh dữ liệu tự động ......................................... 74 Bảng 2. 10. Tham số huấn luyện mô hình SD-UNet ........................................................ 77 Bảng 2. 11. Tham số huấn luyện mô hình MobileNet v3 ................................................. 77 Bảng 2. 12. So sánh các phương pháp phân đoạn đường ................................................. 78 Bảng 2. 13. So sánh các phương pháp phân loại ảnh ........................................................ 79 Bảng 2. 14. Đánh giá hiệu quả khi sử dụng bộ lọc theo luật ............................................ 80 Bảng 2. 15. So sánh hiệu năng của các phương pháp ....................................................... 82 Bảng 3. 1. Thống kê số lượng video trong bộ dữ liệu FirePTIT ..................................... 100 Bảng 3. 2. So sánh các mô hình nhận dạng đối tượng trên tập dữ liệu lửa ..................... 106 Bảng 3. 3. So sánh mô hình đề xuất với số lớp LSTM khác nhau .................................. 106 Bảng 3. 4. Mô tả chi tiết về một số video trong tập kiểm tra .......................................... 107 Bảng 3. 5. Kết quả so sánh với các phương pháp khác trên tập video thử nghiệm ........ 109 Bảng 3. 6. So sánh độ chính xác với các phương pháp khác .......................................... 111 1 MỞ ĐẦU Sự kiện bất thường là sự kiện xảy ra ngoài dự đoán, kế hoạch của con người [1]. Sự kiện bất thường nếu không được giám sát và cảnh báo kịp thời có thể gây ảnh hưởng lớn đến hạ tầng, tài sản, và thậm chí tính mạng của con người. Sự kiện bất thường có thể chia ra làm hai loại chính: Sự kiện bất thường do tự nhiên và sự kiện bất thường do các hoạt động của con người gây ra. Sự kiện bất thường do tự nhiên gây ra thường có yếu tố ngẫu nhiên rất khó dự đoán và phát hiện sớm, phòng tránh. Trong khi đó, sự kiện bất thường do hoạt động của con người gây ra có thể dự đoán và phòng tránh để cảnh báo sớm [2]. Sự kiện bất thường là một trong những nguyên nhân hàng đầu của những thiệt hại về con người và kinh tế [3]. Do đó, việc xây dựng các hệ thống cảnh báo sớm là thực sự cần thiết. Với sự trợ giúp của các hệ thống phần cứng giám sát dựa trên công nghệ Internet vạn vật (IoT) và trí tuệ nhân tạo (AI), các sự kiện bất thường có thể được phát hiện và cảnh báo sớm. Tuy nhiên, để các hệ thống giám sát dựa trên các công nghệ cao này đi vào thực tiễn, cần một lõi xử lý đủ mạnh để có thể phát hiện, cảnh báo tự động với độ chính xác cao và tỉ lệ cảnh báo giả thấp. Trong các mô hình giám sát và thu thập dữ liệu, bên cạnh các hệ cảm biến truyền thống, cảm biến hình ảnh (camera) hiện đang được triển khai ngày càng nhiều và rộng khắp trên toàn thế giới bởi tầm quan sát rộng, linh hoạt, và chi phí thấp cũng như khả năng tích hợp các công nghệ xử lý tiên tiến. Theo số liệu trong [4], số lượng camera giám sát (CCTV – Closed-circuit Television) sẽ đạt ngưỡng 1 tỷ đơn vị trong năm 2022, và sẽ ngày càng tăng lên nhanh chóng ngay cả ở các quốc gia đang phát triển. Các hệ thống camera giám sát này thường sẽ thu thập và lưu trữ dữ liệu tại các trung tâm dữ liệu (DC – Data Center) tập trung. Để các hệ thống camera giám sát này có thể theo dõi, phát hiện được các sự kiện bất thường, các thuật toán học máy, xử lý ảnh phải được áp dụng vào phần lõi xử lý được cài đặt tại các trung tâm dữ liệu hoặc tại các thiết bị biên. Thời gian gầy đây, các mô hình học sâu cho kết quả tốt ở nhiều lĩnh vực đặc biệt là các hệ thống giám sát sử dụng camera [5]. Trong phạm vi của luận án, các mô hình học sâu tích hợp vào hệ thống giám sát để phát hiện, cảnh báo các sự kiện bất thường có thể được chia thành hai nhóm theo tính chất của sự kiện bất thường được quan sát: Sự kiện bất thường tĩnh và sự kiện bất thường động. 2 Sự kiện bất thường tĩnh là sự kiện bất thường chứa những đ