Khóa luận Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thước

BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC GVHD: ThS. Ngô Bá Việt SVTH: Lê Văn Thái MSSV: 14141289 Tp. Hồ Chí Minh - 07/2019 BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC GVHD: ThS. Ngô Bá Việt SVTH: Lê Văn Thái MSSV: 14141289 Tp. Hồ Chí Minh - 07/2019 TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC ----o0o---- Tp. HCM, ngày 05 tháng 06 năm 2019 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Lê Văn Thái MSSV: 14141289 Chuyên ngành: Kỹ thuật Điện - Điện tử Mã ngành: 01 Hệ đào tạo: Đại học chính quy Mã hệ: 1 Khóa: 2014 Lớp: 14141DT1A I. TÊN ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC II. NHIỆM VỤ 1. Các số liệu ban đầu: Các tài liệu về Python và thƣ viện OpenCV, Giáo trình Xử lý ảnh. Các ví dụ về nhận dạng hình học cơ bản. 2. Nội dung thực hiện: Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm. Tổng quan về xử lý ảnh. Tìm hiểu Camera 3D và các Module liên quan. Viết chƣơng trình trên Python. Hoàn thành mô hình. Đánh giá kết quả thực hiện. III. NGÀY GIAO NHIỆM VỤ: 26/03/2019 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 05/06/2019 V. HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN: ThS. Ngô Bá Việt CÁN BỘ HƢỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP - TỰ DO - HẠNH PHÚC ----o0o---- Tp. HCM, ngày 05 tháng 06 năm 2019 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Lê Văn Thái Lớp: 14141DT1A - MSSV: 14141289 Tên đề tài: Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc Tuần/ngày Nội dung Xác nhận GVHD 16-20/3 Chọn đề tài 21-25/3 Viết đề cƣơng chi tiết 26/3-05/4 Tìm hiểu phƣơng pháp nhận dạng hình cơ bản 06/-09/4 Tìm hiểu thuật toán dán nhãn 10-17/4 Tìm hiểu camera 3D 18-21/4 Tìm hiểu thuật toán tính khoảng cách 22-28/4 Tìm hiểu thuật toán tính kích thƣớc 29/5-04/5 Tìm hiểu về python 05-06/5 Thực hiện viết code python trên window 07-08/5 Làm các hình khối (sản phẩm) và chạy thử 13-20/5 Hoàn thành mô hình 21-29/5 Viết báo cáo GV HƢỚNG DẪN ThS. Ngô Bá Việt LỜI CAM ĐOAN Đề tài này là tôi tự thực hiện dựa vào một số tài liệu trƣớc đó và không sao chép từ tài liệu hay công trình đã có trƣớc đó. Ngƣời thực hiện đề tài Lê Văn Thái LỜI CẢM ƠN Đầu tiên tôi xin đƣợc cám ơn chân thành tới Thầy Ngô Bá Việt, Thầy đã tận tình hƣớng dẫn tôi để có thể hoàn thành tốt đề tài. Tôi xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo những điều kiện tốt nhất cho tôi hoàn thành đề tài. Những kiến thức bổ ích mà các Thầy Cô dạy, nó đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp rất nhiều, từ những kiến thức nhỏ nhặt cho tới những bài học lớn. Một lần nữa tôi xin đƣợc gửi lời cám ơn đến tất cả Thầy Cô, nếu không có Thầy Cô thì chắc giờ này tôi sẽ khó có thể hoàn thành đề tài này. Tiếp theo tôi cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinh viên đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan tới đề tài cho tới những kinh nghiệm sống thực tế. Nhờ họ mà tôi mới có thể phát triển đƣợc. Tôi cũng gửi lời đồng cảm ơn đến các bạn lớp 14141DT1A đã chia sẻ trao đổi kiến thức cũng nhƣ những kinh nghiệm quý báu trong thời gian thực hiện đề tài, và cũng là lớp học có nhiều kí ức nhất thời sinh viên của tôi. Cuối cùng là gửi lời cảm ơn đến Cha, Mẹ nếu không có hai đấng sinh thành thì ngày hôm nay cũng không có ai hiện diện ở đây để thực hiện những việc mình muốn, họ đã tạo mọi điều kiện để giúp con của mình hƣớng tới một tƣơng lai tốt đẹp. Một lần cuối xin chân thành cảm ơn! Ngƣời thực hiện đề tài Lê Văn Thái MỤC LỤC Trang bìa .................................................................................................................... i Nhiệm vụ đồ án ......................................................................................................... ii Lịch trình ................................................................................................................ iii Cam đoan ................................................................................................................ iv Lời cảm ơn ................................................................................................................ v Mục lục .................................................................................................................... vi Liệt kê hình vẽ ......................................................................................................... ix Liệt kê bảng vẽ ......................................................................................................... xi Tóm tắt ................................................................................................................... xii CHƢƠNG 1: TỔNG QUAN ........................................................................................1 1.1 ĐẶT VẤN ĐỀ ................................................................................................1 1.2 MỤC TIÊU .....................................................................................................1 1.3 NỘI DUNG NGHIÊN CỨU ............................................................................1 1.4 GIỚI HẠN ......................................................................................................2 1.5 BỐ CỤC..........................................................................................................2 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................4 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN ............4 2.1.1 Giới thiệu xử lý ảnh. .................................................................................4 2.1.2 Những vấn đề trong xử lý ảnh ...................................................................4 2.2 PHƢƠNG PHÁP PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG .............. 11 2.2.1 Các hình dạng cơ bản của sản phẩm........................................................ 11 2.2.2 Phƣơng pháp nhận dạng sản phẩm theo hình dạng .................................. 11 2.2.3 Các bƣớc thực hiện phân loại sản phẩm theo hình dạng .......................... 14 2.3 ÁP DỤNG KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ĐỂ TÍNH KÍCH THƢỚC SẢN PHẨM ............................................................................................. 18 2.3.1 GIỚI THIỆU KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ............. 18 2.3.2 STEREO CAMERA ............................................................................... 19 2.3.3 PHƢƠNG PHÁP HIỆU CHỈNH CHUẨN .............................................. 23 2.4 NGÔN NGỮ PYTHON ................................................................................ 25 2.5 GIỚI THIỆU PHẦN CỨNG ......................................................................... 28 CHƢƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ ........................................................... 29 3.1 GIỚI THIỆU ................................................................................................. 29 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................ 29 3.2.1 Khối xử lý............................................................................................... 30 3.2.2 Khối thu tín hiệu ..................................................................................... 30 3.2.3 Khối hiển thị ........................................................................................... 32 3.2.4 Khối giao tiếp và điều khiển ................................................................... 32 3.2.5 Khối nguồn ............................................................................................. 32 3.3 CÁC TÍNH TOÁN TRONG NHẬN DẠNG ................................................. 33 3.3.1 Giới thiệu đặc điểm của hình dạng .......................................................... 33 3.3.2 Phƣơng pháp tính toán các đặc điểm ....................................................... 33 CHƢƠNG 4: THI CÔNG HỆ THỐNG .................................................................. 36 4.1 GIỚI THIỆU ................................................................................................. 36 4.2 THI CÔNG HỆ THỐNG ............................................................................... 36 4.2.1 Các linh kiện và model cần thiết cho mô hình ......................................... 36 4.2.2 Kết nối, lắp ráp và kiểm tra mô hình ....................................................... 36 4.3 THI CÔNG MÔ HÌNH.................................................................................. 37 4.4 LẬP TRÌNH HỆ THỐNG ............................................................................. 38 4.4.1 Lƣu đồ giải thuật..................................................................................... 38 4.4.2 Lập trình với ngôn ngữ Python cùng thƣ viện OpenCV .......................... 44 4.5 MÔ PHỎNG ................................................................................................. 45 4.5.1 Lƣu đồ .................................................................................................... 45 4.5.2 Xử lý tín hiệu hay hình ảnh ..................................................................... 46 4.6 VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC ............................ 48 4.6.1 Viết tài liệu hƣớng dẫn sử dụng .............................................................. 48 4.6.2 Quy trình thao tác ................................................................................... 50 CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ................................................. 52 5.1 CAMERA 3D................................................................................................ 52 5.2 XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM................................................... 52 5.3 NHẬN DẠNG VÀ TÍNH KÍCH THƢỚC SẢN PHẨM ................................ 54 5.4 PHÂN LOẠI SẢN PHẨM ............................................................................ 58 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ........................................ 60 6.1 KẾT LUẬN................................................................................................... 60 6.1.1 Kết quả đạt đƣợc ..................................................................................... 60 6.1.2 Những mặt hạn chế ................................................................................. 60 6.2 HƢỚNG PHÁT TRIỂN ................................................................................ 60 LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1: Lân cận 4 và lân cận 8...................................................................................6 Hình 2.2: Hình tách biên...............................................................................................8 Hình 2.3: Bộ lọc Gaussian ............................................................................................9 Hình 2.4: Đặc điểm hình chữ nhật .............................................................................. 12 Hình 2.5: Đặc điểm hình vuông .................................................................................. 13 Hình 2.6: Đặc điểm hình tam giác .............................................................................. 13 Hình 2.7: Sơ đồ các bƣớc thực hiện phân loại sản phẩm ............................................. 14 Hình 2.8: Xác định biên .............................................................................................. 16 Hình 2.9: Nhận dạng đƣờng biên ................................................................................ 17 Hình 2.10: Cấu hình chuẩn của hệ thống 2 camera ..................................................... 19 Hình 2.11: Hệ thống tọa độ của một stereo camera ..................................................... 19 Hình 2.12: Thuật toán SAD phân vùng ....................................................................... 22 Hình 2.13: Qui tắc tam giác đồng dạng ....................................................................... 23 Hình 2.14: Mô hình các thông số của camera ............................................................. 24 Hình 2.15: Sơ đồ khối của camera .............................................................................. 28 Hình 3.1: Sơ đồ khối................................................................................................... 30 Hình 3.2: Khối thu tín hiệu ......................................................................................... 31 Hình 3.3: Synchronization USB Stereo Webcam Dual lens camera OV9750 960P MJPEG 2560x960 with No distortion lens 3D usb camera module ............................. 31 Hình 3.4: Laptop ........................................................................................................ 32 Hình 3.5: Đỉnh của hình ............................................................................................. 33 Hình 3.6: Đoạn Ramer-Douglas-Peucker .................................................................... 34 Hình 3.7: Đƣờng xấp xỉ .............................................................................................. 34 Hình 3.8: Độ dài cạnh ................................................................................................. 34 Hình 4.1: Kết nối Camera ........................................................................................... 37 Hình 4.2: Các khối hộp (Hình dạng sản phẩm) ........................................................... 38 Hình 4.3: Lƣu đồ giải thuật chính ............................................................................... 39 Hình 4.4: Ma trận không gian màu BGR .................................................................... 40 Hình 4.5: Sơ đồ khối chƣơng trình con tách biên và lấp đầy biên................................ 41 Hình 4.6: Lƣu đồ con nhận dạng sản phẩm ................................................................. 43 Hình 4.7: Tìm kiếm Python ........................................................................................ 44 Hình 4.8: Tạo project mới........................................................................................... 45 Hình 4.9: Lƣu đồ mô phỏng........................................................................................ 45 Hình 4.10: Kiểm tra các bƣớc thực hiện...................................................................... 46 Hình 4.11: Ảnh xám ................................................................................................... 47 Hình 4.12: Tách biên .................................................................................................. 47 Hình 4.13: Lấp đầy biên ............................................................................................. 48 Hình 4.14: Kết quả nhận dạng phân loại sản phẩm. .................................................... 48 Hình 4.15: Kiểm tra thƣ viện ...................................................................................... 49 Hình 4.16: Kết quả sau khi bấm chạy chƣơng trình .................................................... 49 Hình 4.17: Quy trình vận hành ................................................................................... 50 Hình 5.1: Kết quả ảnh đầu vào từ camera ................................................................... 52 Hình 5.2: Kết quả nhận dạng màu sắc sản phẩm của camera....................................... 53 Hình 5.3: Nhận dạng và tính kích thƣớc sản phẩm hình chữ nhật................................ 54 Hình 5.4: Nhận dạng và tính kích thƣớc sản phẩm hình vuông ................................... 54 Hình 5.5: Nhận dạng và tính kích thƣớc sản phẩm hình tam giác ................................ 55 Hình 5.6: Camera chƣa thể nhận dạng cùng lúc nhiều sản phẩm ................................. 57 Hình 5.7: Phân loại theo kích sản phẩm hình chữ nhật ................................................ 58 Hình 5.8: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 58 Hình 5.9: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 59 LIỆT KÊ BẢNG Bảng Trang Bảng 2.1: Đặc điểm hình dạng sản phẩm .................................................................... 14 Bảng 4.1: Danh sách các model và linh kiện liên quan................................................ 36 Bảng 5.1: Thống kê kết quả nhận dạng màu sắc sản phẩm .......................................... 53 Bảng 5.2: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình vuông............. 55 Bảng 5.3: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình chữ nhật ......... 55 Bảng 5.4: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình tam giác ......... 57 TÓM TẮT Hiện nay, nền Công nghiệp đang hƣớng tới Công nghiệp 4.0, là sự kết hợp các Công nghệ lại với nhau, làm mờ ranh giới giữa Vật lý, Kỹ thuật số và Sinh học. Từ đó, các thiết bị điện tử thông minh đang ngày càng xuất hiện phổ biến. Không những nó giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo dục...Điển hình là trong lĩnh sản xuất, vấn đề phân loại sản phẩm trong sản xuất là không thể thiếu ở khâu đóng gói. Chính vì vậy, nhóm đã chọn đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc” Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thước” là phân loại sản phẩm theo hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác) và kích thƣớc dựa trên ngôn ngữ Python với thƣ viện chính là OpenCV. Ở đây sử dụng các đặc điểm riêng biệt của từng hình dạng để đi nhận dạng và sau đó phân loại từng sản phẩm. Kết quả thực hiện của đề tài đã nhận dạng đƣợc những sản phẩm có hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác) cùng với việc biết đƣợc kích thƣớc của từng sản phẩm. CHƢƠNG 1: TỔNG QUAN BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 1 CHƢƠNG 1: TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tƣơng đối mới mẻ so với nhiều ngành khoa học khác nhƣng hiện nay đang là một trong những lĩnh vực phát triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng nhƣ trong cuộc sống thƣờng ngày nhƣ: sản xuất và kiểm tra chất lƣợng, sự di chuyển của Robot, các phƣơng tiện đi lại tự trị, công cụ hƣớng dẫn cho ngƣời mù, an ninh và giám sát, nhận dạng đối tƣợng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video. Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tƣợng, tƣơng tự mắt con ngƣời. Dựa trên các nghiên cứu trƣớc đây nhƣ “Phân loại sản phẩm dùng Kit Raspberry” [3] là một ứng dụn