Luận án Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Hà Nội - 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY Ngành: Kỹ thuật điều khiển và tự động hóa Mã số: 9520216 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS. Đào Phương Nam 2. GS. TS. Phan Xuân Minh Hà Nội - 2022 Hà Nội - 2022 Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của cá nhân tôi dưới sự hướng dẫn của giáo viên hướng dẫn và các nhà khoa học. Tài liệu tham khảo trong luận án được trích dẫn đầy đủ. Các kết quả nghiên cứu của luận án là trung thực và chưa từng được các tác giả khác công bố. Hà Nội, ngày .. tháng . năm 2022 Tập thể hướng dẫn PGS.TS. Đào Phương Nam GS.TS. Phan Xuân Minh Nghiên cứu sinh Vũ Văn Tú LỜI CẢM ƠN Đầu tiên, nghiên cứu sinh xin gửi lời cảm ơn chân thành, sâu sắc nhất đến GS.TS. Phan Xuân Minh, PGS.TS. Đào Phương Nam đã dành nhiều thời gian, tâm huyết để hướng dẫn, định hướng, tạo động lực nghiên cứu và hỗ trợ nghiên cứu sinh về mọi mặt để hoàn thành luận án. Cho phép nghiên cứu sinh được bày tỏ sự biết ơn sâu sắc tới các Thầy Cô trong nhóm cơ sở Lý thuyết điều khiển tự động đã có những chia sẻ quý báu về kiến thức, về phương pháp nghiên cứu và những lời động viên tới NCS trong suốt tiến trình nghiên cứu đề tài. Trong suốt quá trình học tập, nghiên cứu nghiên cứu sinh luôn luôn nhận được sự giúp đỡ tận tình của các Thầy Cô của Khoa Tự động hóa, Trường Điện-Điện tử và Phòng Đào tạo, Đại học Bách Khoa Hà Nội đã tận tình giúp đỡ về mặt chuyên môn, hỗ trợ các thủ tục trong quá trình học tập và hoàn thành luận án. Nghiên cứu sinh cũng xin được gửi lời cảm ơn đến Ban Giám Hiệu trường Đại học Hải Phòng, đặc biệt Khoa Điện Cơ, nơi tôi công tác đã tạo mọi điều kiện thuận lợi nhất cho NCS trong quá trình thực hiện đề tài nghiên cứu. Cuối cùng, nghiên cứu sinh xin được gửi lời biết ơn tới đồng nghiệp, gia đình, người thân đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ NCS trong suốt toàn bộ thời gian thực hiện nghiên cứu. Hà Nội, ngày tháng năm 2022 Nghiên cứu sinh Vũ Văn Tú MỤC LỤC 2.1.2 Mô tả bài toán điều khiển tối ưu cho tàu thủy 35 2.1.3 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc Actor-Critic 35 2.1.4 Phát biểu định lý và chứng minh về tính ổn định của hệ kín 39 2.1.5 Mô phỏng kiểm chứng 42 2.2 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc ADP-RISE cho tàu thủy có nhiễu đầu vào 46 2.2.1 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor-Critic 46 2.2.2 Thiết kế bộ điều khiển phản hồi RISE 49 2.2.3 Phát biểu định lý và chứng minh tính ổn định của hệ kín 51 2.2.4 Mô phỏng so sánh và đánh giá 56 2.3 Thiết kế bộ điều khiển bám tối ưu dựa trên giải thuật ADP kết hợp với bộ ước lượng nhiễu DO cho tàu có nhiễu đầu vào 65 2.3.1 Thiết kế điều khiển bù nhiễu 65 2.3.2 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor-Critic 67 2.3.3 Phương pháp xác định véc-tơ hàm kích hoạt 69 2.3.4 Phát biểu định lý và chứng minh tính ổn định của hệ kín 72 2.3.5 Mô phỏng, so sánh và đánh giá 76 2.4 Kết luận chương 2 83 Chương 3 ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI KHÔNG CÓ MÔ HÌNH 84 3.1 Phương trình HJI bám quỹ đạo và sự ổn định của phương pháp 84 3.1.1 Biến đổi mô hình của tàu thủy 84 3.1.2 Phương trình Hamilton-Jacobi-Isaacs cho bài toán điều khiển bám tối ưu quỹ đạo 85 3.1.3 Sự suy giảm nhiễu và độ ổn định của giải pháp cho phương trình HJI 87 3.2 Thuật toán off-policy IRL để giải phương trình HJI bám quỹ đạo 88 3.2.1 Thuật toán off-policy RL cho điều khiển tối ưu bền vững 88 3.2.2 Phân tích sự hội tụ của thuật toán 3.1 89 3.2.3 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững 95 3.2.4 Phân tích sự hội tụ của thuật toán 3.2 97 3.2.5 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững sử dụng mạng nơ-ron 98 3.2.6 Mô phỏng, so sánh và đánh giá 101 3.3 Kết luận chương 3 108 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 109 DANH MỤC CÁC CÔNG TRÌNH ĐƯỢC CÔNG BỐ 111 TÀI LIỆU THAM KHẢO 112 PHỤ LỤC 118 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Danh Mục Các Ký Hiệu STT Ký hiệu Giải thích 1 Tập các số thực 2 Không gian các tọa độ thực (không gian Euclide) chiều. 3 Tập các ma trận có kích thước chứa các phần tử số thực 4 Tập compact 5 Tập của các luật điều khiển chấp nhận được 6 Ma trận Coriolis và lực hướng tâm của phương tiện hàng hải 7 Ma trận Coriolis và lực hướng tâm thủy động lực học khối lượng nước kèm 8 Ma trận suy giảm thủy động lực học tuyến tính 9 Ma trận suy giảm thủy động lực học phi tuyến 10 Ma trận suy giảm thủy động lực học 11 Véc-tơ lực đẩy và lực trọng trường 12 Ma trận quán tính hệ thống xung quanh điểm O 13 Ma trận quay chuyển đổi vận tốc dài 14 Ma trận quay chuyển đổi vận tốc góc 15 Ma trận quay chuyển đổi vận tốc dài và vận tốc góc 16 Khối lượng của vật rắn 17 Ma trận quán tính hệ thống của khối lượng nước kèm 18 Ma trận quán tính hệ thống vật rắn 19 Lực và mô-men tác động lên thân tàu trong hệ tọa độ gắn thân tàu (b-frame) 20 Véc-tơ lực tác động lên thân tàu trong hệ tọa độ (b-frame) 21 Véc-tơ mô-men tác động lên thân tàu trong hệ tọa độ (b-frame) 22 Véc-tơ lực và momem suy giảm 23 Véc-tơ lực và momen thủy động lực 24 Véc-tơ lực và mô-men do nhiễu tác động bên ngoài (sóng, gió, dòng chảy,) 25 Véc-tơ lực và mô-men tổng quát tác động lên tàu trong khung tọa độ gắn thân 26 Véc-tơ biểu diễn vị trí và góc hướng của tàu trong hệ tọa độ gắn trái đất 27 Véc-tơ biểu diễn vị trí của tàu trong hệ tọa độ gắn trái đất 28 Véc-tơ biểu diễn góc hướng của tàu trong hệ tọa độ gắn trái đất 29 Véc-tơ vận tốc dài và vận tốc góc trong hệ tọa độ gắn thân 30 Véc-tơ vận tốc dài trong hệ tọa độ gắn thân 31 Véc-tơ vận tốc góc trong hệ tọa độ gắn thân 32 Tốc độ trượt dọc của tàu 33 Tốc độ trượt ngang của tàu 34 Tốc độ trượt đứng của tàu 35 Tốc độ lắc ngang của tàu 36 Tốc độ lắc dọc của tàu 37 Tốc độ quay trở của tàu 38 Tọa độ của tàu theo phương hệ tọa độ NED 39 Tọa độ của tàu theo phương hệ tọa độ NED 40 Tọa độ của tàu theo phương hệ tọa độ NED 41 Góc lắc ngang của tàu 42 Góc lắc dọc của tàu 43 Góc hướng, xung quanh trục của tàu 44 Ma trận trọng số lý tưởng của NN 45 Véc-tơ hàm kích hoạt của NN 46 Hàm chi phí 47 Hàm Bellman 48 Véc tơ đầu vào điều khiển 49 Véc tơ đầu vào điều khiển tối ưu 50 Véc-tơ nhiễu của hệ thống 51 Ma trận đơn vị có chiều 52 Không gian Banach, nếu thì Danh Mục Các Chữ Viết Tắt Ký hiệu Thuật ngữ tiếng Anh Giải thích ADP Adaptive Dynamic Programming Quy hoạch động thích nghi AC-NNs Actor-Critic Neural Netwoks Cấu trúc điều khiển Actor-Critic trong của giải thuật gồm hai NN: Mạng critic xấp xỉ hàm đánh giá tối ưu, mạng actor xấp xỉ luật điều khiển tối ưu NN Neural Netwok Mạng nơ-ron nhân tạo Actor NN Actor Neural Network Mạng nơ-ron actor Critic NN Critic Neural Network Mạng nơ-ron critic MLP Multi-Layer Perceptron NN truyền thẳng nhiều lớp ARE Algebraic Riccati Equation Phương trình đại số Riccati HJB Hamilton-Jacobi-Bellman Phương trình vi phân đạo hàm riêng HJB HJI Hamilton-Jacobi-Isaacs Phương trình vi phân đạo hàm riêng HJI PE Persistence of Excitation Điều kiện PE PI Policy Iteration Thuật toán lặp để xấp xỉ luật điều khiển tối ưu của giải thuật quy hoạch động thích nghi VI Value Iteration Thuật lặp giá trị để xấp xỉ hàm đánh giá tối ưu của giải thuật quy hoạch động thích nghi RL Reinforcement Learning Học tăng cường UUB Unifomly Ultimate Bounded Bị chặn tới hạn đều UB Ultimate Bounded Bị chặn tới hạn GUUB Globally Uniformly Ultimately Bounded Bị chặn tới hạn đều toàn cục GUB Globally Uniformly Bounded Bị chặn đều toàn cục ZDGT Zero-sum Differential Game Theory Lý thuyết trò chơi sai phân tổng bằng không ứng dụng trong lý thuyết điều khiển tối ưu LS Least Square Phương pháp bình phương tối thiểu RISE Robust Integral of the Sign of the Error Tích phân bền vững hàm dấu sai lệch bám DO Disturbance Observer Bộ quan sát nhiễu Off-Policy IRL Off-Policy Integral Reinforcement Learning Học tăng cường tích phân với luật điều khiển ngoại tuyến DOF Degree Of Freedom Bậc tự do BODY Body–fixed reference frame Khung tọa độ quy chiếu gắn với thân tàu CG Center of gravity Trọng tâm CB Center of buoyancy Tâm nổi GPS Global Positioning System Hệ thống định vị toàn cầu INS Inertial Navigation System Hệ thống dẫn đường quán tính IFAC International Federation of Automatic Control Hiệp hội quốc tế về tự động hóa NED North-East-Down Hệ tọa độ có các trục hướng bắc – hướng đông – hướng tâm trái đất SNAME Society of Naval Architects and Marine Engineers Hiệp hội kiến trúc hải quân và hàng hải ECI The Earth-centered inertial frame Khung tọa độ quán tính gốc trùng tâm trái đất ECEF Earth-centered Earth-fixed reference frame Khung tọa độ tham chiếu có gốc trùng tâm trái đất DANH MỤC CÁC BẢNG Bảng 1.1 Các ký hiệu của SNAME (nguồn: [17]) 5 Bảng 2.1 Các thông số của bộ điều khiển 78 Bảng 2.2 RMSE của hai bộ điều khiển 81 DANH MỤC HÌNH VẼ Hình 1.1 Mô tả các chuyển động của tàu đại dương (nguồn: [19]) 4 Hình 1.2 Các khung tọa độ quy chiếu (nguồn: [18]) 5 Hình 1.3 Mô tả động lực học tàu thủy trong khung tọa độ quy chiếu quán tính gắn với trái đất và khung tọa độ gắn thân tàu (nguồn:[17]) 8 Hình 1.4 Mô tả các thành phần chuyển động của tàu thủy trong mặt phẳng nằm ngang 13 Hình 1.5 Xấp xỉ hàm bằng mạng MLP một lớp ẩn 20 Hình 1.6 Cấu trúc AC-NNs xấp xỉ nghiệm phương trình HJB 24 Hình 2.1 Cấu trúc điều khiển hệ thống lái tàu thủy sử dụng giải thuật ADP 39 Hình 2.2 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển 43 Hình 2.3 Quỹ đạo bám – quỹ đạo đường tròn sử dụng giải thuật ADP cấu trúc AC-NNs 43 Hình 2.4 Sai lệch bám quỹ đạo theo trục x - quỹ đạo hình tròn 44 Hình 2.5 Sai lệch bám quỹ đạo theo trục y - quỹ đạo hình tròn 44 Hình 2.6 Sai lệch bám quỹ đạo theo góc - quỹ đạo hình tròn 44 Hình 2.7 Đầu vào điều khiển của hệ thống – quỹ đạo hình tròn 44 Hình 2.8 Cấu trúc điều khiển ADP-RISE cho hệ lái tàu thủy 51 Hình 2.9 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển 57 Hình 2.10 So sánh điều khiển bám quỹ đạo tròn, khi chưa có nhiễu 58 Hình 2.11 So sánh sai số điều khiển bám quỹ đạo tròn theo trục x, khi chưa có nhiễu 58 Hình 2.12 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y, khi chưa có nhiễu 58 Hình 2.13 So sánh sai số điều khiển bám quỹ đạo tròn theo trục , khi chưa có nhiễu 59 Hình 2.14 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “1” tác động 59 Hình 2.15 So sánh sai số điều khiển bám quỹ đạo tròn theo trục x 59 Hình 2.16 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y 60 Hình 2.17 So sánh sai số điều khiển bám quỹ đạo tròn theo trục 60 Hình 2.18 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “2” tác động 60 Hình 2.19 Sai lệch bám quỹ đạo theo trục - quỹ đạo đường tròn 61 Hình 2.20 Sai lệch bám quỹ đạo theo trục - quỹ đạo đường tròn 61 Hình 2.21 Sai lệch bám quỹ đạo theo góc - quỹ đạo đường tròn 61 Hình 2.22 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào 62 Hình 2.23 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào 62 Hình 2.24 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào 62 Hình 2.25 Đầu vào điều khiển trên trục 63 Hình 2.26 Đầu vào điều khiển trên trục 63 Hình 2.27 Đầu vào điều khiển trên trục 63 Hình 2.28 Cấu trúc bộ điều khiển tối ưu sử dụng giải thuật ADP cấu trúc AC-NNs 72 Hình 2.29 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển 78 Hình 2.30 So sánh điều khiển bám quỹ đạo tròn của bộ điều khiển đề xuất ADP-DO với bộ điều khiển AOBC [63] 79 Hình 2.31 So sánh sai số bám trục x của hai bộ điều khiển 80 Hình 2.32 So sánh sai số bám trục y của hai bộ điều khiển 80 Hình 2.33 So sánh sai số bám trục của hai bộ điều khiển 80 Hình 2.34 Ước lượng thành phần bất định và nhiễu đầu vào của bộ DO và 81 Hình 2.35 Ước lượng thành phần bất định và nhiễu đầu vào của bộ DO và 81 Hình 2.36 Ước lượng thành phần bất định và nhiễu đầu vào của bộ DO và 82 Hình 2.37 Đầu vào điều khiển của hệ thống theo các trục 82 Hình 3.1 Cấu trúc điều khiển tối ưu bền vững cho mô hình tàu thủy sử dụng 100 Hình 3.2 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi không có nhiễu tác động 102 Hình 3.3 So sánh sai số bám trục x của Actor-Critic và off-policy IRL 102 Hình 3.4 So sánh sai số bám trục y của Actor-Critic và off-policy IRL 102 Hình 3.5 So sánh sai số bám trục của Actor-Critic và off-policy IRL 103 Hình 3.6 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác động của nhiễu hàm “1” 103 Hình 3.7 So sánh sai số bám trục x của của off-policy IRL và Actor-Critic, khi chịu tác động của nhiễu hàm “1” 104 Hình 3.8 So sánh sai số bám trục y của của off-policy IRL và Actor-Critic, khi chịu tác động của nhiễu hàm “1” 104 Hình 3.9 So sánh sai số bám trục của off-policy IRL và Actor-Critic khi chịu tác động của nhiễu hàm “1” 104 Hình 3.10 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác động của nhiễu hàm “2” 105 Hình 3.11 Sai số bám theo trục của off-policy IRL với nhiễu hàm “2” 105 Hình 3.12 Sai số bám theo trục của off-policy IRL với nhiễu hàm “2” 106 Hình 3.13 Sai số bám theo trục của off-policy IRL với nhiễu hàm “2” 106 Hình 3.14 Đầu vào điều khiển trên trục của off-policy IRL với 106 Hình 3.15 Đầu vào điều khiển trục của off-policy IRL với 107 Hình 3.16 Đầu vào điều khiển trục của off-policy IRL với 107 MỞ ĐẦU 1. Tính cấp thiết của đề tài Vận tải biển đóng một vai trò rất quan trọng trong thương mại quốc tế bởi vì khoảng 80% lượng hàng hóa xuất nhập khẩu được vận chuyển qua đường biển. Vận tải biển là một thị trường lớn và vì lợi ích thiết yếu của nó, chẳng hạn như phạm vi vận chuyển rộng, khối lượng vận chuyển lớn, chi phí vận chuyển thấpVì vậy, những nghiên cứu cải thiện hệ thống điều khiển bám quỹ đạo của tàu thủy nhằm nâng cao hiệu quả vận chuyển và đảm bảo an toàn hàng hải luôn là cấp thiết và có ý nghĩa to lớn. Tuy nhiên, việc điều khiển chuyển động của tàu thủy đạt được chất lượng cao là một thách thức đối với các nhà khoa học vì những lý do chính sau đây: 1) Phương tiện hàng hải hoạt động trong môi trường động, phức tạp, không có cấu trúc xác định và chịu ảnh hưởng của nhiễu đầu vào không dự báo được đối với hệ thống điều khiển, ví dụ như: dòng chảy đại dương, sóng, gió,... nên hiệu suất bám quỹ đạo bị giảm đáng kể [1]. 2) Mô hình động lực học của tàu thủy là mô hình phi tuyến bất định và các tham số của mô hình phụ thuộc vào các biến trạng thái của tàu. Động lực học của tàu thường được mô tả là hệ phương trình vi phân phi tuyến bậc cao. Động học của tàu thủy có các tính chất đặc thù như: hằng số thời gian quán tính lớn, biên độ dự trữ ổn định nhỏ và có dao động [2, 3]. Để nâng cao độ chính xác bám quỹ đạo cho tàu thủy, có rất nhiều phương pháp điều khiển khác nhau đã được nghiên cứu, đề xuất [2,4–9]. Mặc dù vậy, việc đảm bảo bám quỹ đạo và ổn định trong môi trường có nhiễu tác động đối với tàu thủy luôn luôn là một thách thức. Trong khi đó, nguồn năng lượng lữu trữ trên tàu là hữu hạn do vậy để đảm bảo tàu chuyển động trên quãng đường dài, bài toán tối ưu năng lượng cũng cần được đề cập tới. Tuy nhiên, cho đến nay, có rất ít các công trình nghiên cứu phương pháp điều khiển tối ưu cho tàu thủy. Thông thường, bài toán điều khiển tối ưu cho tàu thủy là bài toán phi tuyến, nên để tìm nghiệm tối ưu người ta thường đưa về bài toán tìm nghiệm của phương trình HJB [10]. Đối với hệ tuyến tính phương trình HJB trở thành phương trình Riccati. Cho đến nay, chưa có lời giải tổng quát cho phương trình HJB vì việc tìm nghiệm của phương trình này rất khó khăn. Trong những năm gần đây nghiên cứu xấp xỉ nghiệm của phương trình HJB bằng quy hoạch động thích nghi (ADP) được quan tâm phát triển [10, 11, 12, 13]. Giải thuật ADP sử dụng NN để xấp xỉ các hàm giá trị, đặc điểm chung của cấu trúc điều khiển ADP thường sử dụng hai NN hoặc ba NN để xấp xỉ hàm. Trong đó, một NN xấp xỉ luật điều khiển tối ưu (actor NN), một NN còn lại xấp xỉ hàm chi phí tối ưu (critic NN), một NN (disturber NN) có thể được thêm vào cấu trúc ADP để xấp xỉ luật nhiễu xấu nhất. Nghiệm xấp xỉ trên cơ sở giải thuật ADP thường được giải trực tuyến. Những năm gần đây, ứng dụng giải thuật ADP trong bài toán bám tối ưu quỹ đạo cho các hệ thống phi tuyến liên tục được nghiên cứu và phát triển mạnh mẽ [14, 15], nhưng riêng áp dụng cho hệ thống lái tàu thủy được nghiên cứu rất ít. Chính vì vậy, việc nghiên cứu phát triển áp dụng giải thuật ADP trong điều khiển bám tối ưu quỹ đạo cho tàu thủy luôn là thách thức và động lực đối với các nhà khoa học. Đây cũng chính là động lực thúc đẩy việc lựa chọn đề tài nghiên cứu của tác giả. 2. Mục đích nghiên cứu Mục đích của đề tài là nghiên cứu, đề xuất và phát triển những bộ điều khiển bám tối ưu quỹ đạo mới nhằm nâng cao chất lượng điều khiển, tiết kiệm nặng lượng và đảm bảo tính ổn định cho hệ lái tự động tàu thủy trong điều kiện có nhiễu tác động. Để thực hiện được mục tiêu này, luận án đặt ra những nhiệm vụ chính sau: - Nghiên cứu mô hình động lực học của tàu thủy và các phương pháp điều khiển hiện đại cho hệ lái tàu thủy đã công bố trong nước và ngoài nước những năm gần đây, từ đó tìm ra hướng nghiên cứu mới cho luận án. - Nghiên cứu, đề xuất thuật toán điều khiển bám tối ưu mới dựa trên giải thuật ADP có cấu trúc điều khiển AC-NNs kết hợp với bộ ước lượng nhiễu. - Nghiên cứu, đề xuất giải thuật điều khiển tối ưu bền vững dựa trên thuật toán off-policy IRL cho hệ lái tàu thủy trong điều kiện có nhiễu tác động. 3. Đối tượng và phạm vi nghiên cứu của luận án Đối tượng nghiên cứu của luận án: Hệ thống lái tàu nổi như tàu tuần tra, tàu dịch vụ, có mô hình phi tuyến bất định, chịu ảnh hưởng của nhiễu ngoài không biết trước (sóng, gió, dòng chảy) và đủ cơ cấu chấp hành. Phạm vi nghi cứu của luận án: Luận án tập trung xây dựng bộ điều khiển bám tối ưu mới cho hệ thống dựa trên lý thuyết điều khiển phi tuyến và lý thuyết điều khiển tối ưu, cho các tàu hoạt động trên biển trong điều kiện có các nhiễu (sóng, gió, dòng chảy) bị chặn. 4. Ý nghĩa khoa học và thực tiễn của luận án Luận án đã đưa ra được cấu trúc điều khiển mới. Các bộ điều khiển này được phân tích ổn định dựa trên lý thuyết ổn định Lyapunov và được đánh giá thông qua mô phỏng bằng phần mềm Matlab, kết quả phân tích lý thuyết và mô phỏng hoàn toàn phù hợp và đáp ứng được các chỉ tiêu chất lượng cho hệ thống lái tàu tự động. Luận án sẽ góp phần bổ sung các phương pháp điều khiển bám tối ưu quỹ đạo mới cho hệ lái tàu thủy. Chính vì vậy, kết quả nghiên cứu của luận án vừa có ý nghĩa khoa học vừa có ý nghĩa thực tiễn. 5. Phương pháp nghiên cứu Để đạt được mục tiêu đề ra, phương pháp nghiên cứu của luận án tiến hành như sau: - Phân tích các tài liệu khoa học, các công trình mới nhất đã được công bố trong và ngoài nước về điều khiển tàu thủy. Đặc biệt là các phương pháp điều khiển hiện đại áp dụng cho mô hình tàu thủy đủ cơ cấu chấp hành, trên cơ sở đó đưa ra định hướng nghiên cứu các giải thuật điều khiển mới cho hệ lái tàu thủy. - Dựa trên lý thuyết điều khiển phi tuyến và điều khiển tối ưu xây dựng bài toán điều khiển bám tối ưu cho hệ lái tàu thủy có xét tới ảnh hưởng của nhiễu. - Chuyển bài toán xác định nghiệm tối ưu về bài toán tìm nghiệm cho phương trình HJB, HJI. Nghiên cứu, xấp xỉ nghiệm của HJB dựa trên giải thuật ADP kết hợp các phương pháp kháng nhiễu. - Các giải thuật mới được đề xuất, phân tích tính ổn định dựa trên lý thuyết Lyapunov và khảo sát đánh giá thông qua mô phỏng bằng phần mềm Matlab. 6. Bố cục của luận án Luận án được trình bày trong 3 chương với nội dung chính được tóm tắt như sau: Chương 1: Tổng qua