Đề tài Nghiên cứu ứng dụng thuật toán mạng nơ ron tích chập nhận dạng các đối tượng di động

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU ỨNG DỤNG THUẬT TOÁN MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Mã số: T2019-06-130 Chủ nhiệm đề tài: KS. Nguyễn Văn Nam Đà Nẵng, 6/2020 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG NGHIÊN CỨU ỨNG DỤNG THUẬT TOÁN MẠNG NƠ RON TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG Mã số: T2019-06-130 Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) Nguyễn Văn Nam DANH SÁCH THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI STT Họ và tên Đơn vị 1 KS. Nguyễn Văn Nam Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ thuật 2 TS. Nguyễn Đức Quận Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ thuật MỤC LỤC MỞ ĐẦU ......................................................................................................................... 1 1. Tính cấp thiết của đề tài .............................................................................................. 1 2. Mục tiêu của đề tài ...................................................................................................... 3 3. Đối tượng, phạm vi nghiên cứu .................................................................................. 3 3.1 . Đối tượng nghiên cứu.......................................................................................... 3 3.2 . Phạm vi nghiên cứu ............................................................................................. 4 4. Cách tiếp cận, phương pháp nghiên cứu ..................................................................... 4 4.1 . Cách tiếp cận ....................................................................................................... 4 4.2 . Phương pháp nghiên cứu ..................................................................................... 4 5. Nội dung nghiên cứu ................................................................................................... 4 CHƯƠNG 1 - MẠNG NƠ RON VÀ MẠNG NƠ RON TÍCH CHẬP ........................... 5 1.1. Mạng Nơ ron............................................................................................................. 5 1.2. Mạng Nơ ron tích chập (CNN) ................................................................................. 8 1.2.1. Kiến trúc mạng Nơ ron tích chập ...................................................................... 8 1.2.2. Rút trích đặc trưng............................................................................................. 9 1.2.3. Phân loại .......................................................................................................... 12 1.3. Mạng Nơ ron tích chập khu vực nhanh hơn (Faster R-CNN) ................................ 13 1.3.1. Bài toán nhận dạng vật thể (Object Detection) ............................................... 13 1.3.2. Mạng Nơ ron tích chập khu vực (R-CNN) ..................................................... 15 1.3.3. Mạng Nơ ron tích chập khu vực nhanh (Fast R-CNN) ................................... 17 1.3.4. Mạng Nơ ron tích chập khu vực nhanh hơn .................................................... 20 CHƯƠNG 2 - TỔNG QUAN VỀ NHẬN DẠNG CÁC ĐỐI TƯỢNG ........................ 25 2.1. Khái niệm về nhận dạng đối tượng ........................................................................ 25 2.2. Các khó khăn trong việc nhận dạng đối tượng ....................................................... 26 2.2.1. Tư thế, góc chụp .............................................................................................. 26 2.2.2. Sự xuất hiện hoặc thiếu một số thành phần .................................................... 26 2.2.3. Sự biến dạng của đối tượng ............................................................................. 27 2.2.4. Sự che khuất .................................................................................................... 27 2.2.5. Sự phức tạp của hình nền ................................................................................ 28 2.2.6. Môi trường của ảnh ......................................................................................... 29 2.3. Các ứng dụng trong nhận dạng đối tượng hiện nay ............................................... 29 2.4. Tổng quan kiến trúc một hệ thống nhận dạng đối tượng ....................................... 30 2.4.1. Khâu xử lý ảnh đầu vào .................................................................................. 31 2.4.2. Khâu trích lọc các đặc trưng ........................................................................... 32 2.4.3. Phát hiện và phân loại đối tượng ..................................................................... 39 CHƯƠNG 3 - ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG ...................................................................................... 42 3.1. Xây dựng môi trường thực nghiệm mô hình Faster R_CNN ................................. 42 3.1.1. Cấu hình phần cứng cho môi trường thực nghiệm mô hình ........................... 42 3.1.2. Các phần mềm hỗ trợ và phần mềm lập trình ................................................. 42 3.1.3. Cài đặt file môi trường .................................................................................... 45 3.1.4. Cài đặt các thư viện hỗ trợ .............................................................................. 46 3.2. Huấn luyện cho mô hình học nhận dạng ................................................................ 47 3.2.1. Thu thập dữ liệu .............................................................................................. 48 3.2.2. Thực hiện gán nhã cho các đối tượng ............................................................. 49 3.2.3. Xây dựng chương trình huấn luyện ................................................................. 50 3.2.4. Huấn luyện cho mô hình ................................................................................. 50 3.2.5. Dừng huấn luyện mô hình ............................................................................... 52 3.2.6. Kết quả sau khi huấn luyện ............................................................................. 53 3.3. Xây dựng chương trình nhận dạng cho đối tượng .................................................. 53 3.4. Thực nghiệm nhận dạng các đối tượng .................................................................. 53 3.4.1. Thực nghiệm mô hình Faster R-CNN với đối tượng tĩnh ............................... 54 3.4.2. Thực nghiệm mô hình với đối tượng di động ................................................. 58 KẾT LUẬN ................................................................................................................... 62 1. Thuận lợi của đề tài ................................................................................................... 62 2. Hạn chế của đề tài ..................................................................................................... 62 3. Kết quả đạt được ....................................................................................................... 62 4. Hướng phát triển của đề tài ....................................................................................... 62 TÀI LIỆU THAM KHẢO ............................................................................................. 64 DANH MỤC CÁC TỪ VIẾT TẮT CNN : Convolutional Neural Network. R-CNN : Regional Convolutional Neural Network. ROI : Region of Interest. RPN : Region Proposal Network. SVM : Support Vector Machine. DANH MỤC CÁC BẢNG Bảng 3.1: Bảng tổng hợp đánh giá độ chính xác kết quả nhận dạng của mô hình ........ 56 DANH MỤC CÁC HÌNH Hình 1.1: Cách thức perceptron hoạt động [11] .............................................................. 5 Hình 1.2: Đồ thị hàm sigmoid [11] ................................................................................. 7 Hình 1.3: Cấu trúc mạng Nơ ron đề xuất dựa trên [11] .................................................. 7 Hình 1.4: Mạng Nơ ron thông thường (trái) và mạng Nơ ron tích chập (phải) .............. 8 Hình 1.5: Kiến trúc mạng CNN ....................................................................................... 9 Hình 1.6: Lớp rút trích đặc trưng của ảnh (Conv, Relu và Pool) và Lớp phân loại (FC và softmax) ........................................................................................................................... 9 Hình 1.7: Phép tích chập ............................................................................................... 10 Hình 1.8: Ảnh RGB và ảnh xám ................................................................................... 10 Hình 1.9: Phép gộp lấy giá trị lớn nhất kích thước 2×2 ................................................ 11 Hình 1.10: Ví dụ cho tích chập với 2 bộ lọc, 3 cột, 2 bước nhảy, lề = 1....................... 12 Hình 1.11: Nhận dạng hoa đồng tiền ............................................................................. 14 Hình 1.12: Hình ảnh trước (a) và sau khi thực hiện thuật toán tìm kiếm chọn lọc (b) . 15 Hình 1.13: Các khu vực đặc trưng mạng Nơ ron tích chập ........................................... 16 Hình 1.14: Khu vực quan tâm (ROI) ............................................................................. 18 Hình 1.15: Vùng quan tâm (ROI pooling)..................................................................... 19 Hình 1.16: So sánh thời gian huấn luyện và kiểm tra giữa R-CNN và Fast R-CNN .... 19 Hình 1.17: Mô hình ROI pooling .................................................................................. 20 Hình 1.18: Lấy vị trí ...................................................................................................... 21 Hình 1.19: Vị trí cửa sổ trượt (sliding window) ............................................................ 21 Hình 1.20: Các khu vực RPN ........................................................................................ 22 Hình 1.21: Hệ số IoU ..................................................................................................... 23 Hình 1.22: Mô tả hệ số IoU ........................................................................................... 23 Hình 1.23: Thử thời gian R-CNN [10] .......................................................................... 23 Hình 2.1: Minh họa sự thay đổi góc chụp ..................................................................... 26 Hình 2.2: Minh họa sự thiếu thành phần ....................................................................... 27 Hình 2.3: Minh họa sự biến dạng .................................................................................. 27 Hình 2.4: Minh họa sự che khuất .................................................................................. 28 Hình 2.5: Minh họa hình nền phức tạp .......................................................................... 28 Hình 2.6: Minh họa độ sáng khác nhau ......................................................................... 29 Hình 2.7: Các bước trong hệ thống nhận dạng đối tượng ............................................. 31 Hình 2.8: Hình ảnh đưa vào để máy tính nhận dạng ..................................................... 32 Hình 2.9: Cách xử lý của máy tính với ảnh đưa vào để nhận dạng ............................... 32 Hình 2.10: Thực hiện việc nhân chập các giá trị pixel đầu vào với pixel tính năng: .... 33 Hình 2.11: Kết quả sau khi nhân chập giữa bộ lọc với biểu đồ đặc trưng .................... 33 Hình 2.12: Giá trị đặc trưng thu được sau nhân chập .................................................... 34 Hình 2.13: Kêt quả sau nhân chập và tính giá trị đặc trưng .......................................... 34 Hình 2.14: Giá trị đặc trưng thu được ........................................................................... 34 Hình 2.15: Biểu đồ đặc trưng sau trích lọc .................................................................... 35 Hình 2.16: Giá trị đặc trưng thu được sau khi cho qua hàm kích hoạt ......................... 35 Hình 2.17: Biểu đồ đặc trưng thu được sau khi cho qua hàm kích hoạt ....................... 36 Hình 2.18: Kết quả đặc trưng thu được với ảnh RGB đưa vào để nhận dạng ............... 36 Hình 2.19: Thực hiện phép gộp lấy giá trị lớn nhất ...................................................... 37 Hình 2.20: Kết quả thu được sau khi thực hiện max pooling ........................................ 37 Hình 2.21: Kích thước đầu ra 4x4 khi cho qua một lớp ẩn ........................................... 38 Hình 2.22: Kích thước đầu ra 2x2 khi cho qua hai lớp ẩn ............................................ 38 Hình 2.23: Tạo véc tơ đặc trưng cho đối tượng ............................................................ 39 Hình 2.24: Giá trị véctơ đặc trưng của xe ô tô và xe máy ............................................. 39 Hình 2.25: Giá trị đạt được giữa ảnh đưa vào với đối tượng là ô tô ............................. 40 Hình 2.26: Giá trị đạt được giữa ảnh đưa vào với đối tượng là xe máy ........................ 40 Hình 3.1: Bắt đầu cài đặt file môi trường ...................................................................... 45 Hình 3.2: Cài đặt file môi trường thành công................................................................ 45 Hình 3.3: Kích hoạt file môi trường thực nghiệm ......................................................... 46 Hình 3.4: Cài đặt thư viện Tensorflow-gpu từ công cụ pip ........................................... 46 Hình 3.5: Quá trình cài đặt thư viện Tensorflow-gpu kết thúc ..................................... 47 Hình 3.6: Các bước thực hiện trong hệ thống huấn luyện mô hình học ........................ 48 Hình 3.7: Thu thập dữ liệu hình ảnh hoa hồng và hoa hướng dương............................ 48 Hình 3.8: Thu thập dữ liệu hình ảnh con người và xe ô tô ............................................ 49 Hình 3.9: Gán nhãn cho hoa hồng và hoa cẩm tú cầu ................................................... 49 Hình 3.10: Gán nhãn cho xe gắn máy và xe ô tô ........................................................... 49 Hình 3.11: File chương trình huấn luyện ...................................................................... 50 Hình 3.12: Quá trình chuyển đến file môi trường trên nền Anaconda Prompt ............. 50 Hình 3.13: Tạo đường dẫn đến các cơ sở dữ liệu .......................................................... 51 Hình 3.14: a) Thực hiện lệnh gọi chạy mô hình thuật toán Faster R-CNN; b) Mô hình bắt đầu học nhận dạng các đối tượng từ cơ sở dữ liệu .................................................. 51 Hình 3.15: a) Quá trình bắt đầu huấn luyện dữ liệu mô hình; b) Quá trình kết thúc huấn luyện dữ liệu mô hình .................................................................................................... 52 Hình 3.16: Biểu đồ mất mát theo thời gian của mô hình Faster R-CNN ...................... 52 Hình 3.17: Cơ sở dữ liệu sau khi huấn luyện mô hình học ........................................... 53 Hình 3.18: Các file chương trình nhận dạng đối tượng ................................................. 53 Hình 3.19: Hình ảnh hoa đưa vào mô hình nhận dạng .................................................. 55 Hình 3.20: Kết quả nhận dạng bởi mô hình .................................................................. 55 Hình 3.21: Kết quả nhận dạng các đối tượng: a) con người; b) xe ô tô, con người; c) xe máy, con người; d) xe đạp, con người ........................................................................... 57 Hình 3.22: Nguồn video hoa cẩm tú cầu di động .......................................................... 59 Hình 3.23: Kết quả nhận dạng hoa cẩm tú cầu bởi mô hình ......................................... 59 Hình 3.24: Nguồn video người, xe di động ................................................................... 60 Hình 3.25: Kết quả nhận dạng người, xe di động bởi mô hình ..................................... 61 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU 1. Thông tin chung: - Tên đề tài: Nghiên cứu ứng dụng thuật toán mạng Nơ ron tích chập nhận dạng các đối tượng di động - Mã số: T2019-06-130 - Chủ nhiệm: KS. Nguyễn Văn Nam - Thành viên tham gia: TS. Nguyễn Đức Quận - Cơ quan chủ trì: Trường Đại học Sư Phạm Kỹ thuật – Đại học Đà Nẵng - Thời gian thực hiện: Tháng 8/2019 đến tháng 8/2020 2. Mục tiêu: Mục tiêu của đề tài là xây dựng mô hình thuật toán mạng Nơ ron tích chập khu vực nhanh hơn (Faster R-CNN - Faster region-based convolutional neural networks) để nhận dạng các đối tượng tĩnh và di động, đánh giá độ chính xác của mô hình trong trường hợp tín hiệu đầu vào lúc bình thường và nhiễu. Từ đó, tiến hành thực nghiệm mô hình nhận dạng các đối tượng tĩnh (nhận dạng đối tượng từ hình ảnh), thực nghiệm nhận dạng các đối tượng di động (nhận dạng các đối tượng từ một video hoặc từ một camera online). Đánh giá về khả năng ứng dụng mô hình thuật toán Faster R-CNN để nhận dạng hệ động thực vật rừng di động. 3. Tính mới và sáng tạo: Nghiên cứu này đã nghiên cứu thực nghiệm nhận dạng thành công có các đối tượng tĩnh và di động. Nghiên cứu đã cho các kết quả đánh giá độ chính xác nhận dạng của mô hình đối với hình ảnh ở chế độ bình thường và hình ảnh ở chế độ nhiễu. 4. Tóm tắt kết quả nghiên cứu: Sản phẩm nghiên cứu đã hoàn thiện gồm: Một mô hình thuật toán nhận dạng đối tượng ở chế độ tĩnh và di động; Một tập cơ sở dữ liệu sau huấn luyện nhận dạng cho mười loài hoa khác nhau; Một tập cơ sở dữ liệu sau huấn luyện nhận dạng cho các đối tượng như con người, xe ô tô, xe mô tô, xe đạp 5. Tên sản phẩm: Thuật toán mạng Nơ ron tích chập nhanh hơn nhận dạng đối tượng tĩnh và di động 6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng: - Giáo dục, đào tạo: Tài liệu tham khảo tốt cho giảng viên, sinh viên ngành tự động hóa, ngành khoa học máy tính - Kinh tế, xã hội: Áp dụng tích hợp trong robot thông minh nhận dạng đối tượng từ hình ảnh phục vụ trong công nghiệp, nông nghiệp. Tích hợp trong các drone phục vụ trong công tác cảnh báo cháy rừng, phục vụ công các điều tra và kiểm kê rừng thay cho con người. - Địa chỉ ứng dụng: Kết quả nghiên cứu có thể ứng dụng mô hình để nhận dạng các hệ động thực vật rừng phục vụ trong giảng dạy và nghiên cứu, đặc biệt là công tác kiểm kê, thống kê tài nguyên rừng. Huấn luyện mô hình này định danh các loài cây rừng từ hoa, lá, thân 7. Hình ảnh, sơ đồ minh họa chính - Nhận dạng các loài hoa di động - Nhận dạng các đối tượng con người, xe ô tô, xe máy, xe đạp di động Ngày tháng năm 2020 Hội đồng KH&ĐT đơn vị (ký, họ và tên) Chủ nhiệm đề tài (ký, họ và tên) XÁC NHẬN CỦA TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT INFORMATION ON RESEARCH RESULTS 1. General information: - Project title: Researching on application of convolution neural network algorithm to identify mobile objects - Code number: T2019-06-130 - Coordinator: Nguyen Van Nam - Implementing institution: Nguyen Duc Quan - Duration: from August 2019 to August 2020 2. Objective(s): The objective of the project is to build a Faster region-based convolutional neural networks for identifying static and mobile objects, assessing the accuracy of the model in the case of normal input signals and noise. From there, conduct practices on the identification of static objects (object recognition from image), practices on the identification of mobile objects (identi