Luận án Nghiên cứu xây dựng mô hình mạng nơ-ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM ĐINH VĂN NGỌC NGHIÊN CỨU XÂY DỰNG MÔ HÌNH MẠNG NƠ-RON XUNG TRỌNG SỐ NHỊ PHÂN HƯỚNG TỚI THỰC THI TRÊN KIẾN TRÚC TÍNH TOÁN TRONG BỘ NHỚ LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2024 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM ĐINH VĂN NGỌC NGHIÊN CỨU XÂY DỰNG MÔ HÌNH MẠNG NƠ-RON XUNG TRỌNG SỐ NHỊ PHÂN HƯỚNG TỚI THỰC THI TRÊN KIẾN TRÚC TÍNH TOÁN TRONG BỘ NHỚ Ngành: Kỹ thuật điện tử Mã số: 9 52 02 03 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS.TS Bùi Ngọc Mỹ 2. PGS.TS Trịnh Quang Kiên HÀ NỘI - 2024 i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả trình bày trong luận án là hoàn toàn trung thực và chưa được công bố trong bất kỳ công trình nào khác. Các dữ liệu tham khảo được trích dẫn đầy đủ. Hà Nội, ngày 22 tháng 04 năng 2024 Tác giả luận án Đinh Văn Ngọc ii LỜI CẢM ƠN Luận án này được thực hiện và hoàn thành tại Viện Khoa học và Công nghệ quân sự. Lời đầu tiên, Nghiên cứu sinh xin chân thành bày tỏ lòng biết ơn tới các thầy PGS. TS Bùi Ngọc Mỹ và PGS. TS Trịnh Quang Kiên đã tận tình hướng dẫn và giúp đỡ trong toàn bộ quá trình học tập, nghiên cứu và hoàn thành luận án. Nghiên cứu sinh trân trọng cảm ơn Ban giám đốc Viện Khoa học và Công nghệ quân sự; Thủ trưởng và cán bộ, nhân viên Phòng Đào tạo; Thủ trưởng và các ban chức năng Viện Điện tử; Thủ trưởng Viện Công nghệ thông tin đã tạo mọi điều kiện thuận lợi để nghiên cứu sinh học tập, nghiên cứu và hoàn thành luận án. Nghiên cứu sinh chân thành cảm ơn các thầy cô giáo, các nhà khoa học, các đồng nghiệp tại Viện Điện tử/ Viện Khoa học và Công nghệ quân sự, Viện Công nghệ thông tin/ Viện Khoa học và Công nghệ quân sự, Học Viện kỹ thuật quân sự đã tạo điều kiện giúp đỡ và có những ý kiến góp ý quý báu cho Nghiên cứu sinh trong quá trình thực hiện luận án này. Cuối cùng Nghiên cứu sinh xin bày tỏ lời cảm ơn tới gia đình đã luôn động viên, chia sẻ, ủng hộ, giúp đỡ Nghiên cứu sinh vượt qua khó khăn trong suốt quá trình nghiên cứu và hoàn thành luận án. Xin chân thành cảm ơn! Tác giả luận án Đinh Văn Ngọc iii MỤC LỤC Trang DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ......................... vi DANH MỤC CÁC THUẬT NGỮ ......................................................... x DANH MỤC CÁC BẢNG ....................................................................... xiii DANH MỤC CÁC HÌNH VẼ .................................................................. xiv MỞ ĐẦU ................................................................................................... 1 Chương 1 TỔNG QUAN VỀ MẠNG HỌC SÂU TRÊN PHẦN CỨNG NHÚNG TÀI NGUYÊN HẠN CHẾ VÀ TIẾT KIỆM NĂNG LƯỢNG 8 1.1. Học sâu và các bài toán xử lý ảnh ............................................... 8 1.1.1. Lịch sử phát triển trí tuệ nhân tạo ............................................ 8 1.1.2. Học sâu và ứng dụng ................................................................ 11 1.1.3. Các bài toán xử lý ảnh ứng dụng học sâu ................................ 13 1.1.4. Các tác vụ trong bài toán phát hiện đối tượng ......................... 14 1.2. Một số mạng học sâu phù hợp với phần cứng nhúng tiết kiệm năng lượng và tài nguyên hạn chế ............................................... 18 1.2.1. Giới thiệu hệ thống nhúng ........................................................ 18 1.2.2. Mạng nơ-ron nhị phân .............................................................. 23 1.2.3. Mạng nơ-ron xung .................................................................... 27 1.2.4. Mạng nơ-ron xung nhị phân ..................................................... 31 1.2.5. Tấn công và phòng thủ đối nghịch ........................................... 32 1.3. Tình hình nghiên cứu và các vấn đề còn tồn tại .......................... 36 1.3.1. Cải thiện mạng nơ-ron xung nhị phân ..................................... 36 1.3.2. Tấn công và phòng thủ đối nghịch trên BNN và BSNN ......... 40 1.3.3. Các vấn đề còn tồn tại .............................................................. 41 1.4. Định hướng nghiên cứu của luận án ........................................... 43 1.5. Kết luận chương 1 ....................................................................... 44 Chương 2 MẠNG NƠ-RON XUNG NHỊ PHÂN HƯỚNG TỚI CÁC THIẾT BỊ EDGE-AI ............................................................................... 45 2.1. Ước lượng các trọng số nhị phân ................................................ 45 2.2. Đề xuất mạng nơ-ron xung với toàn bộ trọng số nhị phân ......... 47 iv 2.2.1. Mạng nơ-ron xung với trọng số nhị phân ................................ 48 2.2.2. Đề xuất một mạng nơ-ron xung với tất cả trọng số nhị phân .. 49 2.2.3. Đề xuất một mạng nơ-ron xung nhị phân với bước thời gian không đồng nhất ....................................................................... 55 2.2.4. Huấn luyện mạng nơ-ron xung với trọng số nhị phân ............. 57 2.3. Đề xuất kiến trúc tính toán trong bộ nhớ thực thi BSNN ........... 63 2.3.1. Tính toán trong bộ nhớ ............................................................. 63 2.3.2. Tính MAC dựa trên phép tính XNOR ..................................... 65 2.3.3. Tính toán BSNN dựa trên mảng XNOR .................................. 67 2.4. Kết quả thực nghiệm trên các tập dữ liệu phân loại ảnh ............. 71 2.4.1. Cài đặt các tham số huấn luyện ................................................ 71 2.4.2. Ảnh hưởng bước thời gian ....................................................... 72 2.4.3. Ảnh hưởng hệ số tỉ lệ của SNG ............................................... 74 2.4.4. Ảnh hưởng số lần tích lũy tại lớp đầu tiên ............................... 75 2.4.5. Ảnh hưởng độ sâu của cấu trúc mạng ...................................... 77 2.4.6. Ảnh hưởng tính ngẫu nhiên của khối SNG .............................. 77 2.4.7. Các kết quả đánh giá và so sánh BSNN ................................... 78 2.4.8. Hiệu quả của các mô hình BSNN ............................................ 80 2.5. Kết luận Chương 2 ...................................................................... 83 Chương 3 PHƯƠNG PHÁP CẢI THIỆN KHẢ NĂNG PHÒNG THỦ MẠNG NƠ-RON HỌC SÂU TRƯỚC CÁC TẤN CÔNG ĐỐI NGHỊCH ........... 85 3.1. Tấn công và phòng thủ đối nghịch trên các mạng nơ-ron sâu .... 85 3.1.1. Tấn công đối nghịch ................................................................. 85 3.1.2. Phòng thủ đối nghịch ............................................................... 87 3.2. Đề xuất phương pháp huấn luyện EFAT nhằm cải thiện khả năng phòng thủ cho BNN trước các tấn công đối nghịch .................... 89 3.3. Tấn công đối nghịch trên mạng nơ-ron nhị phân ........................ 91 3.3.1. Tấn công đối nghịch trên mạng nơ-ron nhị phân ..................... 92 3.3.2. Tấn công đối nghịch trên tập dữ liệu MNIST .......................... 95 3.3.3. Tấn công đối nghịch trên tập dữ liệu CIFAR-10 ..................... 98 3.4. Tấn công đối nghịch trên mạng nơ-ron xung nhị phân ............... 103 3.4.1. Tính toán gradient cho BSNN .................................................. 104 v 3.4.2. Cài đặt thử nghiệm tấn công đối nghịch ................................. 108 3.4.3. Kết quả tấn công và phòng thủ đối nghịch trên BSNN .......... 110 3.5. Kết luận chương 3 ...................................................................... 113 KẾT LUẬN ............................................................................................. 115 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ ..... 118 TÀI LIỆU THAM KHẢO ..................................................................... 119 vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT 𝜔 Hệ số tỉ lệ của bộ tạo số stochastic (SNG) 𝜑 Hệ số damping của thuật toán gradient thay thế 𝜎 Độ lệch chuẩn, lớp chuẩn hóa theo batch (BN) 𝜇 Giá trị trung bình, lớp chuẩn hóa theo batch (BN) 𝜃 Ngưỡng của nơ-ron IF 𝜂 Tốc độ học (learning rate) 𝜏 Hệ số được thêm vào mẫu số để tránh chia 0 𝜀 Hệ số nhiễu/ Kích thước bước nhiễu 𝛿 Hệ số khởi tạo tấn công đối nghịch 𝛾 Tham số chia tỷ lệ, lớp chuẩn hóa theo batch (BN) 𝛽 Tham số dịch chuyển, lớp chuẩn hóa theo batch (BN) 𝑦 hoặc Y Nhãn đúng (truth label) 𝑥 hoặc X Ảnh đầu vào chưa thêm nhiễu 𝑤 hoặc 𝑊 Bộ trọng số của mô hình 𝑟 Là số ngẫu nhiên trong khoảng [−𝜔; +𝜔] 𝑝 Là số ngẫu nhiên trong khoảng min(X) và max(X) 𝑛 Số lượng trọng số tại một lớp 𝑀 Tổng số trọng số trong một phép tính MAC 𝐿 Tổng số lớp của mô hình 𝐾 Hệ số tích lũy tại lớp đầu tiên 𝐽 Hàm mất mát của mô hình (Loss) 𝐶 Số lớp phân loại của tập dữ liệu MP2 Lớp Max Pooling, kích thước nhân là 2 × 2 FC Lớp kết nối đầy đủ Conv Lớp tích chập 32C3 Lớp tích chập có 32 đầu ra, kích thước nhân là 3 × 3 10FC Lớp kết nối đầy đủ có 10 đầu ra ⊙ Toán tử XNOR �̅� Ngưỡng thay thế của nơ-ron IF 𝛼𝑙 Hệ số tỉ lệ (trung bình của các giá trị trọng số tuyệt đối vii của lớp 𝑙) 𝛻𝑥 Đạo hàm theo 𝑥 𝑥𝑖 𝑎𝑑𝑣 Ảnh đầu vào đã thêm nhiễu ở lần lặp thứ 𝑖 𝑥𝑖−1 𝑎𝑑𝑣 Ảnh đầu vào đã thêm nhiễu ở lần lặp thứ 𝑖 − 1 𝑥𝑎𝑑𝑣 Ảnh đầu vào đã thêm nhiễu 𝑤𝑙 Bộ trọng số giá trị thực của lớp 𝑙 𝑤𝑖𝑗 Bộ trọng số kết nối giữa nơ-ron 𝑖 và nơ-ron 𝑗 𝑤𝑖,𝑗 𝑡,𝑢 Bộ trọng số nhị phân [0, 1] 𝑢𝑖 𝑡−1 Điện thế màng của nơ-ron 𝑖 tại bước thời gian 𝑡 − 1 𝑢𝑖 𝑡 Điện thế màng của nơ-ron 𝑖 tại bước thời gian 𝑡 𝑜𝑗 𝑡 Xung (spikes) đầu vào của nơ-ron 𝑗 tại bước thời gian 𝑡. 𝑖𝑛𝑝𝑡 Xung đầu vào tại bước thời gian 𝑡 𝑋𝑐𝑜𝑛𝑣1 Đầu vào của lớp đầu tiên 𝑊𝑐𝑜𝑛𝑣1 180𝑟𝑜𝑡𝑎𝑡𝑒𝑑 Bộ trọng số tại lớp đầu tiên được xoay 180 độ 𝑈𝑙 𝑡−1 Điện thế màng của lớp 𝑙 tại bước thời gian 𝑡 − 1 𝑈𝑙 𝑡 Điện thế màng của lớp 𝑙 tại bước thời gian 𝑡 𝑁𝑓𝑐_𝑤𝑒𝑖𝑔ℎ𝑡𝑠 Tổng số trọng số của lớp kết nối đầy đủ 𝑁𝑐𝑜𝑛𝑣_𝑤𝑒𝑖𝑔ℎ𝑡𝑠 Tổng số trọng số của lớp tích chập 𝑀1 Tổng số trọng số có giá trị −1 trong một MAC Π𝑥±𝜀 Hàm projector 𝑤�̃� Bộ trọng số nhị phân của lớp 𝑙 �̃�𝑙 𝑡 Bộ trọng số nhị phân của lớp 𝑙 tại bước thời gian 𝑡 �̃�𝑖𝑗 𝑡 Bộ trọng số nhị phân [−1,+1] �̅�𝑖 𝑡 Điện thế màng thay thế AI Trí tuệ nhân tạo (Artificial Intelligence) ALU Đơn vị lô-gic số học (Arithmetic Logic Unit) ANN Mạng nơ-ron nhân tạo (Artificial Neural Network) BN Lớp chuẩn hóa theo batch (Batch Normalization) BNN Mạng nơ-ron nhị phân (Binarized Neural Network) BPTT Backpropagation Through Time viii BSNN Mạng nơ-ron xung nhị phân (Binarized Spiking Neural Network) CIFAR Canadian Institute For Advanced Research CNN Mạng nơ-ron tích chập (Convolutional Neural Network) Conv Lớp tích chập (Convolutional) Deep SNN Mạng nơ-ron xung sâu (Deep Spiking Neural Network) DL Học sâu (Deep Learning) DNN Mạng nơ-ron sâu (Deep Neural Network) DRAM Bộ nhớ truy cập ngẫu nhiên động (Dynamic Random Access Memory) Edge-AI Thiết bị biên có sử dụng trí tuệ nhân tạo (Edge Artificial Intelligence) EFAT Enhanced Fast Adversarial Training FAT Fast Adversarial Training FC Lớp kết nối đầy đủ (Fully Connected) FGSM Fast Gradient Sign Method GAN Mạng đối nghịch tạo sinh (Generative Adversarial Networks) GIS Hệ thống thông tin địa lý (Geographic Information System) IF Tích lũy và phát xung (Integrate-and-Fire) IMC Tính toán trong bộ nhớ (In-Memory Computing) IMC Tính toán trong bộ nhớ (In-Memory Computing) IoT Internet vạn vật (Internet of Things) LIF Tích lũy và kích hoạt có rò rỉ (Leaky Integrate-and- Fire) MAC Phép nhân cộng (Multiply-Accumulate) ML Học máy (Machine Learning) MLP Lớp Perceptron nhiều tầng (Multi-layer Perceptron) MNIST Modified National Institute of Standards and Technology ix PCM Bộ nhớ thay đổi pha (Phase-changing Memory) PGD Projected Gradient Descent QR code Mã đáp ứng nhanh (Quick-Response code) RAM Bộ nhớ truy cập ngẫu nhiên (Random Access Memory) ReLU Đơn vị tuyến tính chỉnh lưu (Rectified Linear Unit) ReRAM Bộ nhớ truy cập ngẫu nhiên điện trở (Resistive RAM) RNN Mạng nơ-ron hồi quy (Recurrent Neural Network) SD Giảm gradient (Gradient Descent) SG Gradient thay thế (Surrogate Gradient) SGD Stochastic Gradient Descent SNG Bộ tạo số stochastic (Stochastic Number Generator) SNN Mạng nơ-ron xung (Spiking Neural Network) SOT-MRAM Spin Orbit Torque-Magnetoresistive RAM SRAM Bộ nhớ truy cập ngẫu nhiên tĩnh (Static Random Access Memory) STDP Spike Timing–Dependent Plasticity STT-BSNN A Binarized Spiking Neural Network based on STT-MRAM STT-MRAM Spin-transfer torque Magnetoresistive Random Access Memory UAV Phương tiện bay không người lái (Unmanned Aerial Vehicle) UGV Phương tiện mặt đất không người lái (Unmanned Ground Vehicle) USV Phương tiện mặt nước không người lái (Unmanned Surface Vehicle) UUV Phương tiện không người lái dưới biển (Unmanned Undersea Vehicle) x DANH MỤC CÁC THUẬT NGỮ Bản đồ đặc trưng (Feature map) Thông tin đặc trưng của dữ liệu sau mỗi lớp của mạng nơ-ron nhân tạo Bộ nhớ bền vững tiềm năng (Emerging Non-Volatile Memory) Là loại bộ nhớ không mất dữ liệu ngay cả khi không được cấp nguồn điện thuộc nhóm các công nghệ tiềm năng Bộ nhớ không bền vững (Volatile Memory) Các loại bộ nhớ sẽ mất dữ liệu khi không được cấp nguồn điện Bức tường bộ nhớ (Memory wall) Rào cản của bộ nhớ trong hệ thống do phải đọc và ghi dữ liệu thấp hơn khả năng tính toán Bước thời gian (Time-step) Số lần tích lũy trong mạng nơ-ron xung Đầu ra đúng (Ground truth) Là giá trị đúng của đầu ra tập dữ liệu Điện thế màng (Membrane potential) Giá trị tích lũy của nơ-ron trong mạng nơ- ron xung Hệ số giảm lần (Damping factor) Một hệ số của thuật toán gradient thay thế dùng để tính xấp xỉ gradient trong huấn luyện mạng nơ-ron xung Huấn luyện (Training) Quá trình tìm ra bộ trọng số tối ưu của các mạng nơ-ron nhân tạo Khả năng phòng thủ (Robustness) Là khả năng của mạng nơ-ron có thể duy trì độ chính xác trước các tấn công đối nghịch Lớp ẩn (Hidden layer) Các lớp ẩn ở giữa của mạng nơ-ron nhân tạo Lớp chuẩn hóa theo batch (Batch normalization) Một lớp của mạng nơ-ron nhân tạo dùng để chuẩn hóa dữ liệu theo nhóm (batch) Lớp cuối cùng (Last layer) Là lớp cuối cùng (lớp đầu ra) của mạng nơ-ron nhân tạo Lớp đầu ra (Output layer) Là lớp cuối cùng (lớp đầu ra) của mạng nơ-ron nhân tạo xi Lớp đầu tiên (First layer) Là lớp đầu tiên (lớp đầu vào) của mạng nơ-ron nhân tạo Lớp đầu vào (Input layer) Là lớp đầu tiên (lớp đầu vào) của mạng nơ-ron nhân tạo Lớp gộp cực đại (Max pooling) Một lớp của mạng nơ-ron nhân tạo dùng để giảm kích thước của đầu vào bằng cách lựa chọn giá trị lớn nhất Lớp gộp trung bình (Average pooling) Một lớp của mạng nơ-ron nhân tạo dùng để giảm kích thước của đầu vào bằng cách lựa chọn giá trị trung bình Lớp kết nối đầy đủ (Fully connected layer) Một lớp của mạng nơ-ron nhân tạo với tất cả nơ-ron được kết nối với nhau Lớp tích chập (Convolutional layer) Một lớp trích xuất đặc trưng của mạng nơ-ron nhân tạo, sử dụng các phép tính tích chập Mã hóa tỉ lệ (Rate coding) Một phương pháp mã hóa ảnh tĩnh thành các xung theo thời gian, dùng cho các mạng nơ-ron xung Mạch đọc dữ liệu đã hiệu chỉnh (Modified Sense-Amps) Là một thành phần của kiến trúc tính toán trong bộ nhớ Ngưỡng phát (Firing threshold) Giá trị ngưỡng mà nơ-ron xung sẽ quyết định có tạo ra xung hay không Nhân bộ lọc (Filter kernel) Là một ma trận sử dụng để lọc (trích xuất) đặc trưng đầu vào Quá trình lan truyền ngược (Backpropagation process) Quá trình tính toán gradient phục vụ huấn luyện mạng nơ-ron nhân tạo Quá trình lan truyền xuôi (Feedforward process) Quá trình tính toán giá trị mất mát của mạng nơ-ron nhân tạo trong huấn luyện hoặc suy luận Suy luận (Inference) Quá trình thực thi nhận dạng của các mạng nơ-ron nhân tạo Mất mát (Loss) Giá trị sai lệch do mạng nơ-ron tạo ra xii giữa đầu ra của mạng và đầu ra đúng Tấn công đối nghịch (Adversarial attack) Phương pháp gây nhiễu vào đầu vào làm cho mạng nơ-ron đưa ra kết quả sai Tích hợp và phát xung (Integrate-and-Fire) Một loại hàm kích hoạt của mạng nơ-ron xung Trọng số (Weight) Các hệ số của mạng nơ-ron nhân tạo Xung (spike) Là đầu vào và đầu ra tại các nơ-ron của mạng nơ-ron xung xiii DANH MỤC CÁC BẢNG Trang Bảng 2.1 Cấu trúc mạng nơ-ron và tham số huấn luyện ............................ 72 Bảng 2.2 Độ chính xác của FBW-SNN với các hệ số tỉ lệ khác nhau ....... 75 Bảng 2.3 Độ chính xác phân loại của BSNN với các cấu trúc mạng khác nhau .................................................................................... 77 Bảng 2.4 Độ chính xác của NUTS-BSNN ảnh hưởng bởi tính ngẫu nhiên 78 Bảng 2.5 So sánh độ chính xác của các BSNN .......................................... 79 Bảng 2.6 Số lượng trọng số và số phép tính MAC của mô hình FBW-SNN với một bước thời gian ............................................. 81 Bảng 3.1 Tấn công đối nghịch trên mô hình BNN .................................... 98 Bảng 3.2 Cấu trúc mạng và các tham số huấn luyện BSNN ..................... 108 xiv DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1 Trí tuệ nhân tạo, học máy và học sâu ......................................... 9 Hình 1.2 Bài toán phát hiện đối tượng ứng dụng trong thực tế ................ 13 Hình 1.3 Các tác vụ của bài toán phát hiện đối tượng .............................. 15 Hình 1.4 Phân tầng các loại thiết bị .......................................................... 23 Hình 1.5 Minh họa phép nhân và phép cộng được thay thế bằng các phép tính theo bit XNOR và POPCOUNT ................................ 24 Hình 1.6 Minh họa hoạt động một nơ-ron của SNN ................................. 27 Hình 1.7 Sự khác nhau giữa ANN và SNN ............................................... 29 Hình 1.8 So sánh các khối cơ bản của BNN và BSNN ............................ 32 Hình 1.9 Minh họa tấn công đối nghịch [32] ............................................ 33 Hình 1.10 Nguyên lý của tấn công đối nghịch .......................................... 34 Hình 2.1 Các khối cơ bản BSNN (minh họa tại một bước thời gian) ....... 48 Hình 2.2 Các khối cơ bản của FBW-SNN ................................................ 50 Hình 2.3 Hoạt động của các xung tại nơ-ron IF ........................................ 51 Hình 2.4 Bộ tạo số ngẫu nhiên cho các trọng số ....................................... 53 Hình 2.5 Mã hóa tỉ lệ cho hình ảnh đầu vào .............................................. 54 Hình 2.6 Các khối lớp đầu vào của BSNN: a) BSNN với các trọng số thực; b) FBW-BSNN với các trọng số nhị phân; c) NUTS-BSNN với K bộ trọng số nhị phân .................................................................. 56 Hình 2.7 Ảnh đầu vào của tập dữ liệu CIFAR-10 được mã hóa theo mã hóa tỉ lệ với các bước thời gian khác nhau .......................................... 59 Hình 2.8 Hai kiến trúc In-Memory Computing. a) Bulk bitwise Computing b) Crossbar Array Computing [11] ............................................ 64 Hình 2.9 Thành phần MAC lớp tích chập của BSNN .............................. 67 Hình 2.10 Một kiến trúc IMC dự đoán sử dụng mảng XNOR ................. 68 xv Hình 2.11 Thực thi tại lớp đầu vào của NUTS-BSNN ............................. 70 Hình 2.12 Độ chính xác phân loại của BSNN với các trọng số giá trị thực tại lớp đầu vào và đầu ra khi thay đổi bước thời gian ................ 73 Hình 2.13 Phân bố của bộ trọng số lớp đầu vào ........................................ 74 Hình 2.14 Độ chính xác của NUTS-BSNN