Mục tiêu của đề tài là xây dựng mô hình thuật toán mạng Nơ ron tích chập
khu vực nhanh hơn (Faster R-CNN - Faster region-based convolutional neural networks)
để nhận dạng các đối tượng tĩnh và di động, đánh giá độ chính xác của mô hình trong
trường hợp tín hiệu đầu vào lúc bình thường và nhiễu. Từ đó, tiến hành thực nghiệm mô
hình nhận dạng các đối tượng tĩnh (nhận dạng đối tượng từ hình ảnh), thực nghiệm nhận
dạng các đối tượng di động (nhận dạng các đối tượng từ một video hoặc từ một camera
online). Đánh giá về khả năng ứng dụng mô hình thuật toán Faster R-CNN để nhận dạng
hệ động thực vật rừng di động.
80 trang |
Chia sẻ: Trịnh Thiết | Ngày: 06/04/2024 | Lượt xem: 181 | Lượt tải: 1
Bạn đang xem trước 20 trang tài liệu Đề tài Nghiên cứu ứng dụng thuật toán mạng nơ ron tích chập nhận dạng các đối tượng di động, để xem tài liệu hoàn chỉnh bạn click vào nút DOWNLOAD ở trên
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
BÁO CÁO TỔNG KẾT
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG
NGHIÊN CỨU ỨNG DỤNG THUẬT TOÁN MẠNG NƠ RON
TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG
Mã số: T2019-06-130
Chủ nhiệm đề tài: KS. Nguyễn Văn Nam
Đà Nẵng, 6/2020
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
BÁO CÁO TỔNG KẾT
ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƯỜNG
NGHIÊN CỨU ỨNG DỤNG THUẬT TOÁN MẠNG NƠ RON
TÍCH CHẬP NHẬN DẠNG CÁC ĐỐI TƯỢNG DI ĐỘNG
Mã số: T2019-06-130
Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài
(ký, họ tên, đóng dấu) (ký, họ tên)
Nguyễn Văn Nam
DANH SÁCH THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI
STT Họ và tên Đơn vị
1 KS. Nguyễn Văn Nam
Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ
thuật
2 TS. Nguyễn Đức Quận
Khoa Điện – Điện tử Trường Đại học Sư phạm Kỹ
thuật
MỤC LỤC
MỞ ĐẦU ......................................................................................................................... 1
1. Tính cấp thiết của đề tài .............................................................................................. 1
2. Mục tiêu của đề tài ...................................................................................................... 3
3. Đối tượng, phạm vi nghiên cứu .................................................................................. 3
3.1 . Đối tượng nghiên cứu.......................................................................................... 3
3.2 . Phạm vi nghiên cứu ............................................................................................. 4
4. Cách tiếp cận, phương pháp nghiên cứu ..................................................................... 4
4.1 . Cách tiếp cận ....................................................................................................... 4
4.2 . Phương pháp nghiên cứu ..................................................................................... 4
5. Nội dung nghiên cứu ................................................................................................... 4
CHƯƠNG 1 - MẠNG NƠ RON VÀ MẠNG NƠ RON TÍCH CHẬP ........................... 5
1.1. Mạng Nơ ron............................................................................................................. 5
1.2. Mạng Nơ ron tích chập (CNN) ................................................................................. 8
1.2.1. Kiến trúc mạng Nơ ron tích chập ...................................................................... 8
1.2.2. Rút trích đặc trưng............................................................................................. 9
1.2.3. Phân loại .......................................................................................................... 12
1.3. Mạng Nơ ron tích chập khu vực nhanh hơn (Faster R-CNN) ................................ 13
1.3.1. Bài toán nhận dạng vật thể (Object Detection) ............................................... 13
1.3.2. Mạng Nơ ron tích chập khu vực (R-CNN) ..................................................... 15
1.3.3. Mạng Nơ ron tích chập khu vực nhanh (Fast R-CNN) ................................... 17
1.3.4. Mạng Nơ ron tích chập khu vực nhanh hơn .................................................... 20
CHƯƠNG 2 - TỔNG QUAN VỀ NHẬN DẠNG CÁC ĐỐI TƯỢNG ........................ 25
2.1. Khái niệm về nhận dạng đối tượng ........................................................................ 25
2.2. Các khó khăn trong việc nhận dạng đối tượng ....................................................... 26
2.2.1. Tư thế, góc chụp .............................................................................................. 26
2.2.2. Sự xuất hiện hoặc thiếu một số thành phần .................................................... 26
2.2.3. Sự biến dạng của đối tượng ............................................................................. 27
2.2.4. Sự che khuất .................................................................................................... 27
2.2.5. Sự phức tạp của hình nền ................................................................................ 28
2.2.6. Môi trường của ảnh ......................................................................................... 29
2.3. Các ứng dụng trong nhận dạng đối tượng hiện nay ............................................... 29
2.4. Tổng quan kiến trúc một hệ thống nhận dạng đối tượng ....................................... 30
2.4.1. Khâu xử lý ảnh đầu vào .................................................................................. 31
2.4.2. Khâu trích lọc các đặc trưng ........................................................................... 32
2.4.3. Phát hiện và phân loại đối tượng ..................................................................... 39
CHƯƠNG 3 - ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG NHẬN DẠNG
CÁC ĐỐI TƯỢNG DI ĐỘNG ...................................................................................... 42
3.1. Xây dựng môi trường thực nghiệm mô hình Faster R_CNN ................................. 42
3.1.1. Cấu hình phần cứng cho môi trường thực nghiệm mô hình ........................... 42
3.1.2. Các phần mềm hỗ trợ và phần mềm lập trình ................................................. 42
3.1.3. Cài đặt file môi trường .................................................................................... 45
3.1.4. Cài đặt các thư viện hỗ trợ .............................................................................. 46
3.2. Huấn luyện cho mô hình học nhận dạng ................................................................ 47
3.2.1. Thu thập dữ liệu .............................................................................................. 48
3.2.2. Thực hiện gán nhã cho các đối tượng ............................................................. 49
3.2.3. Xây dựng chương trình huấn luyện ................................................................. 50
3.2.4. Huấn luyện cho mô hình ................................................................................. 50
3.2.5. Dừng huấn luyện mô hình ............................................................................... 52
3.2.6. Kết quả sau khi huấn luyện ............................................................................. 53
3.3. Xây dựng chương trình nhận dạng cho đối tượng .................................................. 53
3.4. Thực nghiệm nhận dạng các đối tượng .................................................................. 53
3.4.1. Thực nghiệm mô hình Faster R-CNN với đối tượng tĩnh ............................... 54
3.4.2. Thực nghiệm mô hình với đối tượng di động ................................................. 58
KẾT LUẬN ................................................................................................................... 62
1. Thuận lợi của đề tài ................................................................................................... 62
2. Hạn chế của đề tài ..................................................................................................... 62
3. Kết quả đạt được ....................................................................................................... 62
4. Hướng phát triển của đề tài ....................................................................................... 62
TÀI LIỆU THAM KHẢO ............................................................................................. 64
DANH MỤC CÁC TỪ VIẾT TẮT
CNN : Convolutional Neural Network.
R-CNN : Regional Convolutional Neural Network.
ROI : Region of Interest.
RPN : Region Proposal Network.
SVM : Support Vector Machine.
DANH MỤC CÁC BẢNG
Bảng 3.1: Bảng tổng hợp đánh giá độ chính xác kết quả nhận dạng của mô hình ........ 56
DANH MỤC CÁC HÌNH
Hình 1.1: Cách thức perceptron hoạt động [11] .............................................................. 5
Hình 1.2: Đồ thị hàm sigmoid [11] ................................................................................. 7
Hình 1.3: Cấu trúc mạng Nơ ron đề xuất dựa trên [11] .................................................. 7
Hình 1.4: Mạng Nơ ron thông thường (trái) và mạng Nơ ron tích chập (phải) .............. 8
Hình 1.5: Kiến trúc mạng CNN ....................................................................................... 9
Hình 1.6: Lớp rút trích đặc trưng của ảnh (Conv, Relu và Pool) và Lớp phân loại (FC và
softmax) ........................................................................................................................... 9
Hình 1.7: Phép tích chập ............................................................................................... 10
Hình 1.8: Ảnh RGB và ảnh xám ................................................................................... 10
Hình 1.9: Phép gộp lấy giá trị lớn nhất kích thước 2×2 ................................................ 11
Hình 1.10: Ví dụ cho tích chập với 2 bộ lọc, 3 cột, 2 bước nhảy, lề = 1....................... 12
Hình 1.11: Nhận dạng hoa đồng tiền ............................................................................. 14
Hình 1.12: Hình ảnh trước (a) và sau khi thực hiện thuật toán tìm kiếm chọn lọc (b) . 15
Hình 1.13: Các khu vực đặc trưng mạng Nơ ron tích chập ........................................... 16
Hình 1.14: Khu vực quan tâm (ROI) ............................................................................. 18
Hình 1.15: Vùng quan tâm (ROI pooling)..................................................................... 19
Hình 1.16: So sánh thời gian huấn luyện và kiểm tra giữa R-CNN và Fast R-CNN .... 19
Hình 1.17: Mô hình ROI pooling .................................................................................. 20
Hình 1.18: Lấy vị trí ...................................................................................................... 21
Hình 1.19: Vị trí cửa sổ trượt (sliding window) ............................................................ 21
Hình 1.20: Các khu vực RPN ........................................................................................ 22
Hình 1.21: Hệ số IoU ..................................................................................................... 23
Hình 1.22: Mô tả hệ số IoU ........................................................................................... 23
Hình 1.23: Thử thời gian R-CNN [10] .......................................................................... 23
Hình 2.1: Minh họa sự thay đổi góc chụp ..................................................................... 26
Hình 2.2: Minh họa sự thiếu thành phần ....................................................................... 27
Hình 2.3: Minh họa sự biến dạng .................................................................................. 27
Hình 2.4: Minh họa sự che khuất .................................................................................. 28
Hình 2.5: Minh họa hình nền phức tạp .......................................................................... 28
Hình 2.6: Minh họa độ sáng khác nhau ......................................................................... 29
Hình 2.7: Các bước trong hệ thống nhận dạng đối tượng ............................................. 31
Hình 2.8: Hình ảnh đưa vào để máy tính nhận dạng ..................................................... 32
Hình 2.9: Cách xử lý của máy tính với ảnh đưa vào để nhận dạng ............................... 32
Hình 2.10: Thực hiện việc nhân chập các giá trị pixel đầu vào với pixel tính năng: .... 33
Hình 2.11: Kết quả sau khi nhân chập giữa bộ lọc với biểu đồ đặc trưng .................... 33
Hình 2.12: Giá trị đặc trưng thu được sau nhân chập .................................................... 34
Hình 2.13: Kêt quả sau nhân chập và tính giá trị đặc trưng .......................................... 34
Hình 2.14: Giá trị đặc trưng thu được ........................................................................... 34
Hình 2.15: Biểu đồ đặc trưng sau trích lọc .................................................................... 35
Hình 2.16: Giá trị đặc trưng thu được sau khi cho qua hàm kích hoạt ......................... 35
Hình 2.17: Biểu đồ đặc trưng thu được sau khi cho qua hàm kích hoạt ....................... 36
Hình 2.18: Kết quả đặc trưng thu được với ảnh RGB đưa vào để nhận dạng ............... 36
Hình 2.19: Thực hiện phép gộp lấy giá trị lớn nhất ...................................................... 37
Hình 2.20: Kết quả thu được sau khi thực hiện max pooling ........................................ 37
Hình 2.21: Kích thước đầu ra 4x4 khi cho qua một lớp ẩn ........................................... 38
Hình 2.22: Kích thước đầu ra 2x2 khi cho qua hai lớp ẩn ............................................ 38
Hình 2.23: Tạo véc tơ đặc trưng cho đối tượng ............................................................ 39
Hình 2.24: Giá trị véctơ đặc trưng của xe ô tô và xe máy ............................................. 39
Hình 2.25: Giá trị đạt được giữa ảnh đưa vào với đối tượng là ô tô ............................. 40
Hình 2.26: Giá trị đạt được giữa ảnh đưa vào với đối tượng là xe máy ........................ 40
Hình 3.1: Bắt đầu cài đặt file môi trường ...................................................................... 45
Hình 3.2: Cài đặt file môi trường thành công................................................................ 45
Hình 3.3: Kích hoạt file môi trường thực nghiệm ......................................................... 46
Hình 3.4: Cài đặt thư viện Tensorflow-gpu từ công cụ pip ........................................... 46
Hình 3.5: Quá trình cài đặt thư viện Tensorflow-gpu kết thúc ..................................... 47
Hình 3.6: Các bước thực hiện trong hệ thống huấn luyện mô hình học ........................ 48
Hình 3.7: Thu thập dữ liệu hình ảnh hoa hồng và hoa hướng dương............................ 48
Hình 3.8: Thu thập dữ liệu hình ảnh con người và xe ô tô ............................................ 49
Hình 3.9: Gán nhãn cho hoa hồng và hoa cẩm tú cầu ................................................... 49
Hình 3.10: Gán nhãn cho xe gắn máy và xe ô tô ........................................................... 49
Hình 3.11: File chương trình huấn luyện ...................................................................... 50
Hình 3.12: Quá trình chuyển đến file môi trường trên nền Anaconda Prompt ............. 50
Hình 3.13: Tạo đường dẫn đến các cơ sở dữ liệu .......................................................... 51
Hình 3.14: a) Thực hiện lệnh gọi chạy mô hình thuật toán Faster R-CNN; b) Mô hình
bắt đầu học nhận dạng các đối tượng từ cơ sở dữ liệu .................................................. 51
Hình 3.15: a) Quá trình bắt đầu huấn luyện dữ liệu mô hình; b) Quá trình kết thúc huấn
luyện dữ liệu mô hình .................................................................................................... 52
Hình 3.16: Biểu đồ mất mát theo thời gian của mô hình Faster R-CNN ...................... 52
Hình 3.17: Cơ sở dữ liệu sau khi huấn luyện mô hình học ........................................... 53
Hình 3.18: Các file chương trình nhận dạng đối tượng ................................................. 53
Hình 3.19: Hình ảnh hoa đưa vào mô hình nhận dạng .................................................. 55
Hình 3.20: Kết quả nhận dạng bởi mô hình .................................................................. 55
Hình 3.21: Kết quả nhận dạng các đối tượng: a) con người; b) xe ô tô, con người; c) xe
máy, con người; d) xe đạp, con người ........................................................................... 57
Hình 3.22: Nguồn video hoa cẩm tú cầu di động .......................................................... 59
Hình 3.23: Kết quả nhận dạng hoa cẩm tú cầu bởi mô hình ......................................... 59
Hình 3.24: Nguồn video người, xe di động ................................................................... 60
Hình 3.25: Kết quả nhận dạng người, xe di động bởi mô hình ..................................... 61
ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
THÔNG TIN KẾT QUẢ NGHIÊN CỨU
1. Thông tin chung:
- Tên đề tài: Nghiên cứu ứng dụng thuật toán mạng Nơ ron tích chập nhận dạng các
đối tượng di động
- Mã số: T2019-06-130
- Chủ nhiệm: KS. Nguyễn Văn Nam
- Thành viên tham gia: TS. Nguyễn Đức Quận
- Cơ quan chủ trì: Trường Đại học Sư Phạm Kỹ thuật – Đại học Đà Nẵng
- Thời gian thực hiện: Tháng 8/2019 đến tháng 8/2020
2. Mục tiêu: Mục tiêu của đề tài là xây dựng mô hình thuật toán mạng Nơ ron tích chập
khu vực nhanh hơn (Faster R-CNN - Faster region-based convolutional neural networks)
để nhận dạng các đối tượng tĩnh và di động, đánh giá độ chính xác của mô hình trong
trường hợp tín hiệu đầu vào lúc bình thường và nhiễu. Từ đó, tiến hành thực nghiệm mô
hình nhận dạng các đối tượng tĩnh (nhận dạng đối tượng từ hình ảnh), thực nghiệm nhận
dạng các đối tượng di động (nhận dạng các đối tượng từ một video hoặc từ một camera
online). Đánh giá về khả năng ứng dụng mô hình thuật toán Faster R-CNN để nhận dạng
hệ động thực vật rừng di động.
3. Tính mới và sáng tạo: Nghiên cứu này đã nghiên cứu thực nghiệm nhận dạng thành
công có các đối tượng tĩnh và di động. Nghiên cứu đã cho các kết quả đánh giá độ chính
xác nhận dạng của mô hình đối với hình ảnh ở chế độ bình thường và hình ảnh ở chế độ
nhiễu.
4. Tóm tắt kết quả nghiên cứu: Sản phẩm nghiên cứu đã hoàn thiện gồm: Một mô hình
thuật toán nhận dạng đối tượng ở chế độ tĩnh và di động; Một tập cơ sở dữ liệu sau huấn
luyện nhận dạng cho mười loài hoa khác nhau; Một tập cơ sở dữ liệu sau huấn luyện
nhận dạng cho các đối tượng như con người, xe ô tô, xe mô tô, xe đạp
5. Tên sản phẩm: Thuật toán mạng Nơ ron tích chập nhanh hơn nhận dạng đối tượng
tĩnh và di động
6. Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:
- Giáo dục, đào tạo: Tài liệu tham khảo tốt cho giảng viên, sinh viên ngành tự động hóa,
ngành khoa học máy tính
- Kinh tế, xã hội: Áp dụng tích hợp trong robot thông minh nhận dạng đối tượng từ hình
ảnh phục vụ trong công nghiệp, nông nghiệp. Tích hợp trong các drone phục vụ trong
công tác cảnh báo cháy rừng, phục vụ công các điều tra và kiểm kê rừng thay cho con
người.
- Địa chỉ ứng dụng: Kết quả nghiên cứu có thể ứng dụng mô hình để nhận dạng các hệ
động thực vật rừng phục vụ trong giảng dạy và nghiên cứu, đặc biệt là công tác kiểm kê,
thống kê tài nguyên rừng. Huấn luyện mô hình này định danh các loài cây rừng từ hoa,
lá, thân
7. Hình ảnh, sơ đồ minh họa chính
- Nhận dạng các loài hoa di động
- Nhận dạng các đối tượng con người, xe ô tô, xe máy, xe đạp di động
Ngày tháng năm 2020
Hội đồng KH&ĐT đơn vị
(ký, họ và tên)
Chủ nhiệm đề tài
(ký, họ và tên)
XÁC NHẬN CỦA TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
INFORMATION ON RESEARCH RESULTS
1. General information:
- Project title: Researching on application of convolution neural network algorithm
to identify mobile objects
- Code number: T2019-06-130
- Coordinator: Nguyen Van Nam
- Implementing institution: Nguyen Duc Quan
- Duration: from August 2019 to August 2020
2. Objective(s): The objective of the project is to build a Faster region-based
convolutional neural networks for identifying static and mobile objects, assessing the
accuracy of the model in the case of normal input signals and noise. From there, conduct
practices on the identification of static objects (object recognition from image), practices
on the identification of mobile objects (identi