Luận án Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ THANH VIỆT NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG IoT THU THẬP DỮ LIỆU VÀ THUẬT TOÁN PHÂN VÙNG, PHÂN LOẠI CÁ THỂ SỬ DỤNG HỌC SÂU ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI TRỒNG THỦY SẢN LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG Hà Nội - 2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ THANH VIỆT NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG IoT THU THẬP DỮ LIỆU VÀ THUẬT TOÁN PHÂN VÙNG, PHÂN LOẠI CÁ THỂSỬ DỤNG HỌC SÂU ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI TRỒNG THỦY SẢN Ngành: Kỹ thuật Viễn thông Mã số: 9520208 LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS VŨ VĂN YÊM TS. VƯƠNG HOÀNG NAM Hà Nội - 2024 i LỜI CAM ĐOAN Tôi xin cam đoan luận án “Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản” là kết quả nghiên cứu của riêng tôi. Các số liệu, kết quả nghiên cứu trình bày trong luận án là trung thực, một phần đã được công bố trên các tạp chí khoa học chuyên ngành trong và ngoài nước trong danh mục các công trình khoa học đã công bố của luận án. Phần còn lại chưa được ai công bố trong bất kỳ công trình nghiên cứu nào. Hà Nội, ngày tháng năm 2024 Giảng viên hướng dẫn Tác giả luận án GS.TS. Vũ Văn Yêm TS. Vương Hoàng Nam Lê Thanh Việt ii LỜI CẢM ƠN Lời đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc tới GS.TS. Vũ Văn Yêm và TS. Vương Hoàng Nam, người đã tận tình hướng dẫn trực tiếp nghiên cứu sinh về mặt khoa học cũng như phần thực hành chế tạo thiết bị và hỗ trợ về mọi mặt để tôi có thể hoàn thành bản luận án này sau 7 năm làm nghiên cứu sinh. Qua đây, tôi cũng xin cảm ơn Bộ môn hệ thống viễn thông, Viện Điện tử - Viễn thông trước đây, nay là Khoa kỹ thuật truyền thông, Trường Điện - Điện tử Đại học Bách khoa Hà Nội đã tạo mọi điều kiện thuận lợi cho nghiên cứu sinh trong quá trình học tập, nghiên cứu. Bản thân cũng xin gửi lời cảm ơn chân thành tới các thành viên nghiên cứu của RF lab, Đại học Bách khoa Hà Nội đã đồng hành cùng tôi trong suốt thời gian nghiên cứu vừa qua. Cuối cùng, tôi cũng xin cảm ơn gia đình, bạn bè, đồng nghiệp và người thân đã giúp đỡ, chia sẻ những khó khăn, khích lệ, động viên để tôi có thể hoàn thành luận án này. Xin trân trọng cảm ơn. Hà Nội, ngày tháng năm 2024 Tác giả luận án Lê Thanh Việt iii MỤC LỤC LỜI CAM ĐOAN ............................................................................................. i LỜI CẢM ƠN .................................................................................................. ii MỤC LỤC ....................................................................................................... iii DANH MỤC CÁC CHỮ VIẾT TẮT........................................................... vii DANH MỤC CÁC HÌNH VẼ ........................................................................ xi MỞ ĐẦU ........................................................................................................ 14 CHƯƠNG 1. TỔNG QUAN VỀ INTERNET KẾT NỐI VẠN VẬT VÀ MẠNG NƠ RON HỌC SÂU ỨNG DỤNG TRONG THỦY SẢN ............ 21 1.1. Tổng quan về hệ thống IoT .................................................................... 21 1.2. Hiện trạng và nhu cầu ứng dụng IoT cho nuôi thủy sản .................... 29 1.3. Kiến trúc và các giao thức hệ thống IoT ............................................... 31 1.3.1. Kiến trúc hệ thống IoT ......................................................................... 31 1.3.2. Giao thức truyền thông LORA trong IoT ............................................ 31 1.4. Tổng quan về ứng dụng xử lý ảnh trong phân vùng và phân loại thủy sản .................................................................................................................. 33 1.4.1. Giới thiệu chung ................................................................................... 33 1.4.2. Các thách thức trong phát hiện và ước lượng mật độ cá thể ................ 34 1.4.3. Các mô hình thị giác máy tính dùng trong phát hiện cá thể ................ 36 1.4.4. Ước lượng và đếm cá thể thủy sản ....................................................... 37 1.5. Các kỹ thuật phát hiện vật thể trong thị giác máy tính ........................ 39 1.5.1. Giới thiệu chung về một số kỹ thuật trong thị giác máy tính .............. 39 1.5.2. Một số phương pháp phân vùng ảnh cổ điển ....................................... 40 1.5.3. Các phương pháp phát hiện vật thể hiện đại dùng học sâu .................. 44 1.6. Các vấn đề nghiên cứu cần giải quyết .................................................. 55 1.7. Kết luận chương 1 .................................................................................. 55 CHƯƠNG 2. MÔ HÌNH HỆ THỐNG IoT ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI THỦY SẢN TẠI KIÊN GIANG ....................................... 57 2.1. Quy định, tiêu chuẩn về các tham số môi trường nước trong nuôi trồng thủy sản .......................................................................................................... 57 2.2. Mô hình hệ thống IoT ứng dụng trong nuôi thủy sản ......................... 64 2.2.1. Nghiên cứu thiết kế mô hình hệ thống IoT .......................................... 64 2.2.2. Mô hình hệ thống IoT khi triển khai thực nghiệm tại hiện trường ...... 66 iv 2.2.3. Yêu cầu kỹ thuật, xây dựng giải pháp cho các khối trong hệ thống .... 67 2.3. Thiết kế, chế tạo phần cứng và thiết kế phần mềm hệ thống IoT ứng dụng trong nuôi thủy sản .............................................................................. 68 2.3.1. Thiết kế, chế tạo thiết bị đầu cuối IoT thu thập dữ liệu từ cảm biến ... 68 2.3.2. Thiết kế, chế tạo thiết bị IoT điều khiển cơ cấu chấp hành (IoT control node) ............................................................................................................... 72 2.3.3. Thiết kế và chế tạo IoT cổng (IoT gateway) ........................................ 73 2.3.4. Hệ thống camera thu thập hình ảnh ..................................................... 75 2.3.5. Thiết kế phần mềm giám sát và điều khiển trung tâm ......................... 76 2.4. Tích hợp và thử nghiệm hệ thống IoT .................................................. 87 2.4.1. Tích hợp thiết bị ................................................................................... 87 2.4.2. Thử nghiệm trong môi trường thực tế tại Kiên Giang ......................... 89 2.5. Kết luận chương 2 .................................................................................. 96 CHƯƠNG 3. THUẬT TOÁN PHÂN VÙNG ẢNH VÀ PHÂN LOẠI CÁ THỂ TẠI TRUNG TÂM THU THẬP VÀ XỬ LÝ DỮ LIỆU TRONG HỆ THỐNG ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI THỦY SẢN ...... 98 3.1. Phát hiện và phân loại cá thể dùng học sâu ......................................... 98 3.1.1. Phát hiện cá dùng phương pháp phân vùng ......................................... 98 3.1.2. Phân loại cá .......................................................................................... 99 3.1.3. Phát hiện cá thể kết hợp phân loại ..................................................... 101 3.2. Mô hình mạng nơ ron tích chập sử dụng khối giảm chiều đa tỉ lệ theo không gian và hàm mất mát dựa trên đường bao cục bộ và ứng dụng cho phân vùng hình ảnh cá thể ......................................................................... 102 3.2.1. Mô hình mạng nơ ron tích chập sử dụng khối giảm chiều đa tỉ lệ theo không gian .................................................................................................... 102 3.2.2. Hàm mất mát cho mô hình bài toán phân đoạn ảnh cá ...................... 103 3.2.3. Kết quả thực nghiệm .......................................................................... 104 3.3. Mô hình tập trung chú ý ConvMixer và áp dụng cho phân loại các loài cá .................................................................................................................. 110 3.3.1. Mô hình tập trung chú ý ConvMixer đề xuất ..................................... 110 3.3.2. Kết quả thực nghiệm .......................................................................... 112 3.4. Kết luận chương 3 ................................................................................ 116 KẾT LUẬN .................................................................................................. 118 v DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN .... 121 DANH MỤC TÀI LIỆU THAM KHẢO ................................................... 122 vi DANH MỤC CÁC KÝ HIỆU STT Kí hiệu Mô tả 1 µ Hệ số trong hàm mất mát 2 α Hệ số trong hàm mất mát 3 λ Hệ số trong hàm mất mát 4 𝐿𝐿𝐶𝐶𝐶𝐶 Tổn thất entropy chéo 5 𝐿𝐿𝐿𝐿𝐿𝐿𝐶𝐶 Tổn thất đường viền hoạt động dựa trên cục bộ 6 𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿 Độ dài 7 W Chiều rộng của hình ảnh 8 H Chiều cao của hình ảnh 9 TP Số lượng đúng dự đoán dương tính 10 FN Số lượng đúng dự đoán âm tính giả 11 FP Số lượng đúng dự đoán dương tính giả 12 SF Hệ số trải phổ 13 BW Băng thông 14 CR Tốc độ mã hóa 15 F Kích thước ảnh đầu ra bộ lọc 16 S Độ trượt 17 P Padding 18 O Kích thước đầu ra bộ lọc 19 𝐿𝐿𝐷𝐷𝐷𝐷𝑐𝑐𝐿𝐿 Hàm mất mát Dice 20 𝐿𝐿𝐵𝐵𝐶𝐶𝐶𝐶 Hàm mất mát binary cross entropy (BCE 21 𝐿𝐿𝐶𝐶𝐶𝐶_𝐿𝐿𝐶𝐶 Hàm mất mát đề xuất vii DANH MỤC CÁC CHỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt ACL Access Control List Danh sách kiểm soát truy cập ADC Analog to Digital Bộ chuyển đổi tín hiệu tương tự/số AES Advanced Encryption Standard Chuẩn mật mã hóa tiên tiến AP Access Point Điểm truy cập AIoT Artificial Intelligence Of Things Trí tuệ nhân tạo của vạn vật API Application Programming Interface Giao diện lập trình ứng dụng BW Bandwidth Băng thông CDMA Code Division Multiple Access Đa truy cập phân chia theo mã CSA Climate-SmartTech Nông nghiệp thích ứng với khí hậu CSMA/CA Carrier Senser Multiple Access with Collision Avoidance Đa truy nhập theo cảm nhận sóng mang cùng cơ chế tránh xung đột CSS Chirp Spread Spectrum Trải phổ xung chirp CR Coding Rate Tốc độ mã hóa DDOS Distributed Denial of Service Tấn công từ chối dịch vụ phân tán DHCP Dynamic Host Configuration Protocol Giao thức cấu hình động máy chủ EDGE Enhanced Data for GSM Evolution Di động theo chuẩn EDGE (2.75G) FAO Food and Agriculture Organizationof the United Nations Tổ chức Lương thực và Nông nghiệp Liên Hiệp Quốc FDMA Frequency Division Multiple Access Đa truy nhập phân chia theo tần số FSK Frequency Shift Keying Khoa dịch tần số FTP File Transfer Protocol Giao thức chuyển tệp tin GPIO General Purpose Input Output Đầu vào ra đa mục đích GPRS Generla Packet Radio Services Dịch vụ vô tuyến gói chung GSM Global System For Mobile Hệ thống thông tin di động toàn cầu HTTP Hyper Text Transfer Protocol Giao thức truyền tải siêu văn bản ICSP In Ciruit Serial Programming Lập trình trong mạch nối tiếp IDS Instruction Detection System Hệ thống phát hiện xâm nhập IEEE Institute of Electrical and Electronics Engineers Viện các kỹ sư điện, điện tử viii Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt IFAD International Fund for Agriculture Development Quỹ phát triển nông nghiệp quốc tế IoT Internet Of Things Internet vạn vật IFTTT If This Then That Dịch vụ trung gian IPS Intrusion Prevention Systems Hệ thống ngăn ngừa xâm nhập JSON JavaScript Object Notation Ký hiệu đối tượng JavaScript LAN Local Area Network Mạng cục bộ LoRA Long Range Application Truyền thông cự ly xa theo chuẩn Lora LoRaWAN Long Range Wireless Area Network Mạng không dây tầm xa LPWAN Low-Powered Wide Area Network Mạng diện rộng công suất thấp MA Multiple Access Đa truy nhập MSSP Master Synchronous Serial Port Cổng giao tiếp nối tiếp chính NAT Network Address Translation Biên dịch địa chỉ mạng NTC Negative Temperature Coefficient Điện trở nhiệt hệ số âm OTA Over The Air Qua môi trường không dây OTP One Time Programmable Được lập trình một lần PSP Parallel Slave Port Cổng giao tiếp song song PWM Pulse Width Modulation Điều chế độ rộng xung RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RFID Radio Frequency Identification Nhận thực sử dụng sóng vô tuyến RSTP Real Time Streaming Protocol Giao thức phát thời gian thực RX Receiver Máy thu SDMA Space Division Multiple Access Đa truy nhập phân chia theo không gian SSP Synchoronous Serial Port Cổng giao tiếp nối tiếp SSL Secure Sockets Layer Lớp cổng bảo mật SPI Serial Peripheral Interface Giao diện ngoại vi nối tiếp ix Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt SIEM Security Information and Event Management Giải pháp quản lý và phân tích sự kiện an toàn thông tin Snort Network Intrusion detection system Hệ thống phát hiện xâm nhập mạng mã nguồn mở SF Spreading Factor Hệ số trải phổ TCP/IP Transport Control Protocol/Internet Protocol Giao thức điều khiển kết nối / Giao thức Internet TDMA Time Division Multiple Access Đa truy nhập phân chia theo thời gian TX Transmitter Máy phát UART Universal Asynchronous Receiver/ Transmitter Thu phát không đồng bộ chuyển giao UDP User Datagram Protocol Giao thức gói dữ liệu người dùng UE User Equipment Thiết bị đầu cuối di động UNEP United Nations Environment Programme Chương trình môi trường Liên hợp quốc WAN Wide Area Network Mạng diện rộng WEP Wired Equivalent Privacy Bảo mật tương đương có dây WFP World Food Programme Chương trình lương thực thế giới WPA WiFi Protected Access Bảo vệ truy nhập WiFi WSN Wireless Sensor Network Mạng cảm biến vô tuyến x DANH MỤC CÁC BẢNG Bảng 2-1: Bảng tổng hợp tính độc của NH3 theo pH và NH4 ......................... 61 Bảng 2-2: Dải đo và tín hiệu ra của bộ cảm biến ............................................ 67 Bảng 2-3: Cơ sở dữ liệu cần thu thập .............................................................. 77 Bảng 2-4: Kết quả đo các thông số trung bình 1 ngày ................................... 91 Bảng 2-5: Kết quả đo các thông số trung bình 1 tháng ................................... 91 Bảng 2-6: Đánh giá về chức năng phần mềm quan trắc .................................. 91 Bảng 2-7: Đánh giá về chức năng phần mềm quan trắc .................................. 92 Bảng 2-8: Các sự cố liên quan của hệ thống quan trắc ................................... 94 Bảng 3-1: So sánh giữa các phương pháp phân đoạn cá khác trên dữ liệu DeepFish ........................................................................................................ 106 Bảng 3-2: So sánh giữa các phương pháp phân vùng cá khác trên dữ liệu SIUM ....................................................................................................................... 108 Bảng 3-3: So sánh hiệu năng phân vùng cá khi sử dụng mô đun WASP (w/WASP) và không sử dụng WASP (w/o WASP) ..................................... 109 Bảng 3-4: So sánh giữa hiệu năng phân vùng cá khi sử dụng hàm tổn thất đề xuất và tổn thất Entropy chéo ........................................................................ 109 Bảng 3-5: Thông tin về lớp và số lượng mỗi loại cá của các tập dữ liệu dùng để đánh giá ......................................................................................................... 113 Bảng 3-6: Kết quả so sánh của mô hình, phương pháp đề xuất so với các phương pháp khác ....................................................................................................... 114 Bảng 3-7: So sánh về số lượng tham số huấn luyện và hiệu năng của phương pháp đề xuất so với các phương pháp khác ................................................... 115 Bảng 3-8: Vai trò của việc sử dụng PCA, PSA trên ConvMixer .................. 116 xi DANH MỤC CÁC HÌNH VẼ Hình 1-1: Nguyên lý điều chế tín hiệu LoRa .................................................. 32 Hình 1-2: Thành phần một gói dữ liệu được truyền và nhận .......................... 32 Hình 1-3: Sơ đồ khối của một hệ thống quyết định thông minh trong nuôi trồng thủy sản ............................................................................................................ 34 Hình 1-4: Phân loại các thách thức trong việc phát hiện cá thể ...................... 35 Hình 1-5: Minh họa các thách thức trong việc phát hiện cá thể. Nguồn ảnh từ Fish4-Knowledge [58] và NOAA [59]. .......................................................... 35 Hình 1-6: Hệ thống thu thập hình ảnh 2D và 3D ............................................ 36 Hình 1-7: Minh họa hình ảnh trong các trường hợp mật độ cá thể khác nhau: a- c: mật độ thưa, d-h: mật độ dày ....................................................................... 38 Hình 1-8: Một số kỹ thuật trong thị giác máy tính.......................................... 40 Hình 1-9: Minh họa cho kĩ thuật lan vùng ...................................................... 42 Hình 1-10: Minh họa phương pháp K-means Clutering ................................. 42 Hình 1-11: Sự biến đổi của Active contour từ vị trí ban đầu tới biên của đối tượng quan tâm ................................................................................................ 43 Hình 1-12: Level set hoạt động trong trường hợp ảnh có những vật thể riêng biệt ................................................................................................................... 44 Hình 1-13: Minh họa một mạng nơ ron tích chập CNN ................................. 45 Hình 1-14: Minh họa hai công đoạn phát hiện đội tượng ............................... 46 Hình 1-15: Mạng R-CNN ................................................................................ 47 Hình 1-16: Mạng Fast R-CNN ........................................................................ 47 Hình 1-17: Minh họa mạng Faster-RCNN ...................................................... 48 Hình 1-18: Cấu trúc Encoder-Decoder của hầu hết mô hình Phân vùng ảnh hiện đại .................................................................................................................... 49 Hình 1-19: Ví dụ về tác dụng của kernel lên ảnh thông qua phép nhân tích chập ......................................................................................................................... 49 Hình 1-20: Minh họa các hoạt động của Transpose Convolution .................. 50 Hình 1-21: Mô hình U-net [77] ....................................................................... 51 Hình 1-22: Minh họa quá trình hình thành MultiRes block : a) Inception block đơn giản b) Thay thế các lớp 5x5 và 7x7 tốn nhiều khối lượng tính toán bằng xii các chuỗi 2 và chuỗi 3 các lớp 3x3 c) cấu trúc hoàn thiện của MultiRes block với thêm residual connection [78] ................................................................... 52 Hình 1-23: Cấu trúc ResPath [78] ................................................................... 52 Hình 1-24: Cấu trúc mô hình MultiRes Unet [78] .......................................... 53 Hình 1-25: Cấu trúc mô hình ResUnet++ [79] ............................................... 54 Hình 2-1: Chu trình Nitrate ............................................................................. 63 Hình 2-2: Mô hình hệ thống IoT đề xuất ứng dụng trong nuôi thủy sản ........ 64 Hình 2-3: Sơ đồ chi tiết các khối trong hệ thống IoT thiết kế, chế tạo và thử nghiệm [104] ................................................................................................... 67 Hình 2-4: Sơ đồ khối của thiết bị đầu cuối IoT ............................................... 69 Hình 2-5: Sơ đồ nguyên lý thiết kế mạch tổng thể thiết bị đầu cuối IoT ........ 69 Hình 2-6: Thiết bị đầu cuối IoT với kết cấu mở .....................