Luận án Nghiên cứu ứng dụng trí tuệ nhân tạo vào dự báo lũ sông Hồng trong bối cảnh biến đổi khí hậu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC NÔNG LÂM HOÀNG QUÝ NHÂN NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO VÀO DỰ BÁO LŨ SÔNG HỒNG TRONG BỐI CẢNH BIẾN ĐỔI KHÍ HẬU LUẬN ÁN TIẾN SĨ KHOA HỌC MÔI TRƯỜNG THÁI NGUYÊN - 2024 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC NÔNG LÂM HOÀNG QUÝ NHÂN NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO VÀO DỰ BÁO LŨ SÔNG HỒNG TRONG BỐI CẢNH BIẾN ĐỔI KHÍ HẬU Ngành: Khoa học môi trường Mã số: 9.44.03.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÔI TRƯỜNG Người hướng dẫn khoa học: 1. PGS. TS. NGUYỄN XUÂN HOÀI 2. PGS. TS. ĐỖ THỊ LAN THÁI NGUYÊN - 2024 i LỜI CAM ĐOAN Tác giả xin cam đoan đây là công trình nghiên cứu của tác giả, các kết quả trong nghiên cứu của Luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Việc tham khảo các nguồn tài liệu (nếu có) đã được trích dẫn theo đúng quy định. Tác giả Luận án HOÀNG QUÝ NHÂN ii LỜI CẢM ƠN Sau một thời gian dài nghiên cứu, Luận án được hoàn thành dưới sự hướng dẫn tận tình của PGS.TS Nguyễn Xuân Hoài và PGS.TS Đỗ Thị Lan. Tác giả xin bày tỏ lòng biết ơn sâu sắc tới các Thầy, Cô đã hướng dẫn và chỉ bảo tận tình trong suốt quá trình nghiên cứu để tác giả hoàn thành Luận án này. Tác giả xin chân thành cảm ơn các đơn vị, cá nhân đã góp ý cho tác giả trong suốt quá trình nghiên cứu. Xin cảm ơn tác giả của các công trình nghiên cứu có liên quan đã cung cấp nguồn tư liệu và những kiến thức quý báu để tác giả sử dụng tham khảo trong quá trình nghiên cứu và trích dẫn trong Luận án này. Tác giả xin chân thành cảm ơn Phòng Đào Tạo, Khoa học và Hợp tác quốc tế, Tổng cục Khí tượng Thủy văn Quốc gia, Trung tâm thông tin và dữ liệu khí tượng thủy văn, Viện Trí tuệ nhân tạo, trạm Thủy văn Sơn Tây, Viện Tài Nguyên và Biến đổi khí hậu, cùng toàn thể các Thầy, Cô giáo; bạn bè; đồng nghiệp; cơ quan và gia đình đã tạo mọi điều kiện, chia sẻ những khó khăn, tham gia đóng góp ý kiến và giúp đỡ nghiên cứu sinh trong suốt quá trình học tập và hoàn thành Luận án này. Tác giả Luận án HOÀNG QUÝ NHÂN iii MỤC LỤC LỜI CAM ĐOAN .............................................................................................. i LỜI CẢM ƠN ................................................................................................... ii MỤC LỤC ........................................................................................................ iii DANH MỤC CHỮ VIẾT TẮT ...................................................................... vii DANH MỤC CÁC BẢNG............................................................................. viii DANH MỤC CÁC HÌNH ................................................................................ ix MỞ ĐẦU .......................................................................................................... 1 1. Sự cần thiết .................................................................................................... 1 2. Mục tiêu của Luận án .................................................................................... 4 3. Ý nghĩa của Luận án ..................................................................................... 5 4. Những đóng góp mới của Luận án ................................................................ 6 Chương 1: TỔNG QUAN CÁC VẦN ĐỀ NGHIÊN CỨU .......................... 7 1.1. Các kết quả nghiên cứu tổng quan lũ sông trong bối cảnh biến đổi khí hậu .............................................................................................................. 7 1.1.1. Lũ sông, cơ sở khoa học và nguyên nhân hình thành lũ ......................... 7 1.1.2. Lợi ích và hậu quả của lũ sông ................................................................ 9 1.2. Ảnh hưởng của biến đổi khí hậu đến lũ sông .......................................... 17 1.2.1. Biến đổi khí hậu .................................................................................... 17 1.2.2. Ảnh hưởng của biến đổi khí hậu đến lũ sông ....................................... 19 1.3. Các nghiên cứu về dự báo lũ sông ........................................................... 21 1.3.1. Dự báo lũ sông trên thế giới .................................................................. 22 1.3.2. Dự báo lũ sông ở Việt Nam .................................................................. 26 1.3.3. Một số bất cập trong dự báo lũ Sông Hồng ở Việt Nam ...................... 29 1.4. Các nghiên cứu Trí tuệ nhân tạo và lịch sử ứng dụng ............................. 31 1.4.1. Trí tuệ nhân tạo và dữ liệu lớn .............................................................. 31 1.4.2. Lịch sử ứng dụng Trí tuệ nhân tạo vào cuộc sống và khoa học............ 32 iv 1.4.3. Ứng dụng Trí tuệ nhân tạo vào khoa học môi trường và dự báo lũ lụt ........ 40 1.5. Bài toán mô hình Trí tuệ nhân tạo trong dự báo lũ sông ......................... 43 1.5.1. Cơ sở dữ liệu cho mô hình dự báo lũ bằng Trí tuệ nhân tạo................. 43 1.5.2. Ngôn Ngữ lập trình Python ................................................................... 43 1.5.3. Mô hình dự báo lũ sông bằng Trí tuệ nhân tạo và đề xuất mô hình cây ra quyết định ............................................................................................. 45 TIỂU KẾT CHƯƠNG 1 .................................................................................. 47 Chương 2: ĐỐI TƯỢNG, NỘI DUNG, PHƯƠNG PHÁP NGHIÊN CỨU . 49 2.1. Đối tượng và phạm vi nghiên cứu ............................................................ 49 2.1.1. Đối tượng nghiên cứu ............................................................................ 49 2.1.2. Phạm vi nghiên cứu ............................................................................... 49 2.2. Thời gian và địa điểm ............................................................................... 49 2.2.1. Thời gian ............................................................................................... 49 2.2.2. Địa điểm nghiên cứu ............................................................................. 49 2.3. Nội dung nghiên cứu ................................................................................ 50 2.4. Phương pháp nghiên cứu .......................................................................... 50 2.4.1. Phương pháp nghiên cứu kế thừa và thống kê tài liệu thứ cấp ............. 50 2.4.2. Phương pháp chuyên gia ....................................................................... 51 2.4.3. Phương pháp so sánh và đánh giá lựa chọn .......................................... 51 2.4.4. Phương pháp xử lý và giải đoán ảnh bằng hệ thống thông tin địa lý ... 51 2.4.5. Phương pháp mô hình hóa thực nghiệm bằng Trí tuệ nhân tạo ............ 54 2.4.6. Phương pháp ra quyết định thống kê bằng mô hình hóa, Trí tuệ nhân tạo trong quá trình dự báo lũ sông .......................................................... 66 2.5. Các thành phần và cấu trúc tham gia mô hình dự báo ............................. 67 2.6. Phương pháp so sánh và đánh giá tổng hợp ............................................. 68 TIỂU KẾT CHƯƠNG 2 .................................................................................. 70 Chương 3: KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN ........................ 71 3.1. Đặc điểm mực nước và lũ Sông Hồng đoạn chảy qua đoạn thủ đô Hà Nội .. 71 v 3.1.1. Đặc điểm và vị trí địa lý Sông Hồng đoạn chảy qua đoạn thủ đô Hà Nội ............................................................................................................. 71 3.1.2. Đặc điểm biến đổi khí hậu, khí tượng và lượng mưa tác động tại trạm Thủy văn Sơn Tây ................................................................................. 75 3.1.3. Đánh giá các yếu tố ảnh hưởng tới mực nước và lũ Sông Hồng đoạn chảy qua đoạn trạm Thủy văn Sơn Tây .......................................................... 82 3.1.4. Phân tích đặc điểm quan trắc mực nước Sông Hồng đoạn chảy qua trạm Thủy văn Sơn Tây ................................................................................... 89 3.1.5. Phân tích tính chất lũ Sông Hồng đoạn chảy qua trạm Thủy văn Sơn Tây ........................................................................................................... 92 3.2. Kết quả xây dựng cơ sở dữ liệu chuẩn hóa cho dự báo lũ Sông Hồng tại trạm Thủy văn Sơn Tây. ............................................................................. 95 3.2.1. Kết quả xây dựng cơ sở dữ liệu huấn luyện .......................................... 95 3.2.2. Đánh giá so sánh cơ sở dữ liệu mực nước thực tế và cơ sở dữ liệu mực nước sau xử lý Trí tuệ nhân tạo ............................................................ 102 3.3. Kết quả huấn luyện mô hình dự báo lũ sông với cơ sở dữ liệu chuẩn hóa .. 104 3.3.1. Kết quả huấn luyện mô hình dự báo với cơ sở dữ liệu chuẩn hóa trong giai đoạn ngắn hạn ............................................................................... 104 3.3.2. Kết quả huấn luyện mô hình dự báo với dữ liệu chuẩn hóa trong giai đoạn trung hạn 5 ngày ............................................................................ 111 3.4. Đánh giá độ tin cậy của mô hình dự báo lũ sông bằng Trí tuệ nhân tạo 115 3.4.1. Xây dựng các hàm giá trị và chỉ số đánh giá độ tin cậy ..................... 115 3.4.2. Kết quả xác định độ tin cậy và dự đoán lũ tại trạm Thủy văn Sơn Tây ......................................................................................................... 117 3.5. Đánh giá so sánh ưu nhược điểm của mô hình Trí tuệ nhân tạo với một số kết quả thực tiễn ................................................................................ 120 3.5.1. Ưu điểm của Trí tuệ nhân tạo vào ứng dụng trong dự báo lũ sông .... 120 3.5.2. Hạn chế của Trí tuệ nhân tạo vào ứng dụng trong dự báo lũ sông ..... 121 vi 3.6. Mô hình Hệ thống cây ra quyết định cảnh báo lũ dựa trên mô hình Trí tuệ nhân tạo ............................................................................................ 122 3.6.1. Kế hoạch, tổ chức và ứng dụng Trí tuệ nhân tạo vào quản lý tài nguyên nước .................................................................................................. 122 3.6.2. Một số giải pháp ứng dụng Trí tuệ nhân tạo trong khoa học môi trường và dự báo lũ .................................................................................................... 124 TIỂU KẾT CHƯƠNG 3 ................................................................................ 128 KẾT LUẬN VÀ KIẾN NGHỊ .................................................................... 129 1. Kết luận ..................................................................................................... 129 2. Kiến nghị ................................................................................................... 130 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CÓ LIÊN QUAN ..... 131 DANH MỤC TÀI LIỆU THAM KHẢO ................................................... 132 vii DANH MỤC CHỮ VIẾT TẮT AI Trí tuệ Nhân tạo - Artificial Intelligence ATNĐ Áp thấp nhiệt đới BĐKH Biến Đổi Khí Hậu CNTT Công nghệ thông tin CSDL Cơ sở dữ liệu ĐBCLS Đồng bằng Sông Cửu Long ĐDSH Đa dạng sinh học ĐTH Đô thị hóa GDP Gross Domestic Product hay Tổng sản phẩm trong nước. GIS Hệ thống thông tin đại lý (Geographic Information Systems) KHMT Khoa học Môi trường KKL Không khí lạnh KTTV Khí tượng thủy văn LSTM Thuật toán AI - Bộ nhớ dài - ngắn hạn (Long - short term memory) NĐ-CP Nghị định - Chính phủ NN&PTNT Nông nghiệp và Phát triển nông thôn RNN Thuật toán AI mạng hồi quy RNN (Recurrent Neural Network) TCKTTVQG Tổng cục Khí tượng thủy văn Quốc gia WOS Danh mục tạp chí khoa học uy tín viii DANH MỤC CÁC BẢNG Bảng 1.1. Thống kê thiệt hại về kinh tế do lũ lụt giai đoạn 2010-2019 ........ 15 Bảng 3.1. Danh sách trạm thủy văn thượng lưu trên Sông Hồng .................. 73 Bảng 3.2. Nhiệt độ trung bình khu vực Thành phố Sơn Tây, Hà Nội ........... 76 Bảng 3.3. Tổng lượng mưa trung bình qua các năm giai đoạn 2011-2020 ... 80 Bảng 3.4. Thống kê các đợt lũ đặc biệt lớn trên hệ thống Sông Hồng qua trạm Thủy văn Sơn Tây. ................................................... 83 Bảng 3.5. Kết quả độ tin cậy RNN-AI .......................................................... 118 Bảng 3.6. Kết quả độ tin cậy LSTM-AI ........................................................ 118 ix DANH MỤC CÁC HÌNH Hình 2.1. Quy trình đánh giá các nhóm nhân tố Khí tượng thủy văn ảnh hưởng tới dự báo lũ sông. .............................................................. 53 Hình 2.2. Dữ liệu mực nước thực tế Sông Hồng tại trạm Thủy văn Sơn Tây ... 56 Hình 2.3. Quy trình xử lý dữ liệu thô tạo cơ sở dữ liệu huấn luyện dự báo lũ. .... 58 Hình 2.4. Sơ đồ quá trình huấn luyện dự báo mực nước sông ...................... 62 Hình 2.5. Mô hình mạng Neural hồi quy RNN-AI ....................................... 62 Hình 2.6. Mô đun lặp 4 tầng của mạng LSTM-AI ........................................ 63 Hình 2.7. Theo mô hình cây ra quyết định cho phòng lũ Sông Hồng .......... 67 Hình 3.1. Bản đồ lưu vực Sông Hồng (thuộc Việt Nam). ............................. 72 Hình 3.2. Vị trí trạm Thủy văn Sơn Tây (74162) – Số 6. ............................. 73 Hình 3.3. Hình ảnh vệ tinh GIS chi tiết hợp lưu ba sông chính trên Sông Hồng đến thủ đô Hà Nội. .............................................................. 74 Hình 3.4. Chi tiết mặt cắt đoạn Sông Hồng chảy từ trạm Sơn Tây đến trạm Hà Nội (Chân cầu Long Biên) .............................................. 75 Hình 3.5. Các giá trị trung bình nhiệt độ các tháng trong giai đoạn 2011- 2021, (a) (b) (c)(d) (e) (f) (g) (h) (i) (j). ........................................ 77 Hình 3.6. Biến động nhiệt độ trung bình các năm giai đoạn 2011-2020 ...... 78 Hình 3.7. Lượng mưa trung bình tại trạm Thủy văn Sơn Tây giai đoạn 2011-2020 ...................................................................................... 79 Hình 3.8. Tổng hợp lượng mưa trung bình qua các năm giai đoạn 2011-2020 ..................................................................................... 80 Hình 3.9. GDP tăng trưởng khu vực thủ đô giai đoạn 2011-2020 ................ 81 Hình 3.10. Quá trình đô thị hóa khu vực Hà Nội giai đoạn 2011-2020 ........ 81 Hình 3.11. Giá trị mực nước đo thực tế tại 03 trạm khí tượng Thủy văn Việt Trì, Sơn Tây, Long Biên - Hà Nội ........................................ 85 Hình 3.12. Trực quan hóa giá trị mực nước thực tế đo bằng Matplot.AI x trạm Thủy văn Sơn Tây ............................................................... 85 Hình 3.13. Phân tích và giải đoán ảnh viễn thám từ năm 2011 (a), ................ 87 Hình 3.14. Sơ đồ hệ thống hồ chứa lớn trước trạm Thủy văn Sơn Tây .......... 89 Hình 3.15. Thống kê số điểm quan trắc theo năm từ 2011-2020 ................... 90 Hình 3.16. Thống kê dữ liệu lấy mẫu mực nước theo giờ/ngày ..................... 91 Hình 3.17. Điểm ngoại lai và sai số trong cơ sở dữ liệu gốc .......................... 96 Hình 3.18. Kết quả xử lý dữ liệu Ngoại lai, Sai số trước và sau xử lý ........... 96 Hình 3.19. Kết quả xử lý dữ liệu thiếu, mất mát và bổ sung hoàn thiện cơ sở dữ liệu huấn luyện ........................................................................... 98 Hình 3.20. Dữ liệu thiếu và mất mát trong tập cơ sở dữ liệu gốc ................... 99 Hình 3.21. Tập cơ sở dữ liệu được thiếu và mất mát được xử lý đầy đủ ....... 99 Hình 3.22. Kết quả bộ cơ sở dữ liệu đầu vào huấn luyện đã được chuẩn hóa ..... 101 Hình 3.23. Kết qủa đánh giá và kiểm tra bộ Cơ sở dữ liệu mực nước Sông Hồng tại trạm Thủy văn Sơn Tây. ............................................... 103 Hình 3.24. Mô hình RNN-AI trong dự báo lũ ngắn hạn 3h .......................... 105 Hình 3.25. Mô hình LSTM-AI trong dự báo lũ ngắn hạn 3h........................ 106 Hình 3.26. Kết quả dự báo lũ trạm Thủy văn Sơn Tây bằng mô hình RNN-AI ....................................................................................... 108 Hình 3.27. Kết quả dự báo lũ trạm Thủy văn Sơn Tây bằng LSTM-AI ...... 108 Hình 3.28. So sánh kết quả dự báo lũ trạm Thủy văn Sơn Tây bằng mô hình RNN-AI và LSTM-AI giai đoạn ngắn hạn 3h .................... 110 Hình 3.29. Mô hình dự báo trung hạn 5 ngày ............................................... 111 Hình 3.30. So sánh kết quả dự báo lũ trạm Thủy văn Sơn Tây bằng LSTM-AI và RNN-AI giai đoạn trung hạn 5 ngày ..................... 113 Hình 3.31. Xây dựng các hàm giá trị và chỉ số đánh giá độ tin cậy ............. 115 Hình 3.32. Quy trình xây dựng đánh giá độ tin cậy của kết quả dự báo mô hình LSTM-AI ............................................................................. 117 Hình 3.33. Mô hình cây ra quyết định bằng Trí tuệ nhân tạo. ...................... 123 xi Hình 3.34. Mô hình AI thử nghiệm áp dụng bước đầu trong khoa học môi trường ở Việt Nam ...................................................................... 125 1 MỞ ĐẦU 1. Sự cần thiết Dòng sông mang lại và cung cấp nhiều lợi ích đối với con người và môi trường, hệ sinh thái mà dòng sông chảy qua. Nó cung cấp nước cho sự sống hai bên bờ sông, giao thông thủy và nước sinh hoạt cho con người, sử dụng tưới tiêu cho nông nghiệp, phát triển công nghiệp năng lượng, là nguồn sống của sự phát triển. Dòng sông rất quan trọng đối với cuộc sống của con người, tuy nhiên nó cũng có thể gây ra những thiệt hại vô cùng lớn (Xuan-Hien Le và cs, 2019). Lũ lụt là nguyên nhân quan trọng gây ra những thiệt hại về kinh tế, xã hội cũng như thiệt hại về nhân mạng, cho các khu vực đông dân cư nằm cạnh và ở hạ lưu các con sông lớn. Lũ lụt cũng khác nhau ở các lưu vực sông trên thế giới và Việt Nam, nhưng hầu hết các trận lũ lớn tùy vào quy mô hoặc cường độ đều gây nên những thiệt hại đáng kể cho một khu vực rộng lớn (Trần Thanh Xuân và cs, 2018). Lũ ở miền bắc Việt Nam có tính chất chu kỳ, theo mùa, và có thể dự báo trước trong một khoảng thời gian nhất định, nhưng trong bối cảnh biến đổi khí hậu trên toàn cầu hiện nay đang thay đổi nhanh chóng, với các kiểu thời tiết bất thường, không theo quy luật dẫn tới lũ lụt đang xảy ra với tần suất thường xuyên hơn, cường độ các trận lũ lụt cũng khó dự đoán hơn, lũ lụt xuất hiện mới vượt các trận lũ được ghi nhận trong lịch sử (Trịnh Thu Phương, 2021). Trên thế giới và cả ở Việt Nam, dự báo chính xác dòng chảy lũ là một yêu cầu thiết yếu để tận dụng nguồn lợi từ lũ theo mùa và phòng tránh thiệt hại từ lũ lớn. Nhiệm vụ dự báo lũ, cảnh báo thiệt hại và các giảm tác động xấu từ lũ lụt là rất quan trọng đối với việc lập kế hoạch và quản lý hệ thống tài nguyên nước. Tuy nhiên, dự báo chính xác lũ, mực nước, lưu lượng lũ sông là một vấn đề khó khăn vì phải phân tích các giai đoạn lũ sông là một quá trình động học phức tạp được đặc trưng bởi sự thay đổi theo không gian và thời gian. Ngoài ra, quá trình dòng chảy của sông là phi tuyến tính và chịu ảnh 2 hưởng của nhiều yếu tố như lớp phủ bề mặt lưu vực sông, quá trình mưa cũng như địa hình lòng sông và đặc điểm khí hậu. Nhiều biện pháp dự báo đòi hỏi lượng dữ liệu khổng lồ để dự báo. Dự báo lũ có hai phương pháp dự lũ sông (Adikari, K.E. và cs., 2021), phương pháp đầu tiên bao gồm các mô hình toán học mô phỏng quá trình thủy động lực của dòng nước. Phương pháp mô phòng hiện nay vẫn đang được sử dụng rộng rãi vì các mô hình toán học dựa trên các khái niệm về thủy lực và thủy văn có truyền thống lâu dài. Những mô hình này thường có xu hướng yêu cầu các mối tương quan với lượng dữ liệu cần điều tra, cập nhật lớn cho dữ liệu đầu vào (như lượng mưa, vận hành hồ chứa, dữ liệu địa h