Luận văn Giải pháp phát hiện và ngăn chặn truy cập trái phép vào mạng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN PHƯƠNG CHÍNH GIẢI PHÁP PHÁT HIỆN VÀ NGĂN CHẶN TRUY CẬP TRÁI PHÉP VÀO MẠNG LUẬN VĂN THẠC SĨ Hà Nội – 2009 LỜI CẢM ƠN Lời đầu tiên, tôi xin chân thành cảm ơn PGS. TS Nguyễn Văn Tam, Viện công nghệ thông tin, người đã gợi ý đề tài và tận tình hướng dẫn cho tôi hoàn thành luận văn cao học này. Tôi cũng xin gửi lời cảm ơn chân thành tới Phòng đào tạo sau đại học và các thầy cô giáo trong khoa Công nghệ - Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội đã giảng dạy, truyền đạt và tạo điều kiện học tập tốt nhất cho tôi suốt quá trình học cao học cũng như thời gian thực hiện luận văn cao học. Hà Nội, tháng 06 năm 2009 Nguyễn Phương Chính I MỤC LỤC LỜI CẢM ƠN BẢNG CÁC TỪ VIẾT TẮT, KÝ HIỆU MỤC LỤC MỞ ĐẦU.....................................................................................................................1 Đặt vấn đề ................................................................................................................1 Nội dung của đề tài ..................................................................................................1 Cấu trúc luận văn .....................................................................................................2 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG IPS ......................................................3 1.1 Lịch sử ra đời .......................................................................................................3 1.2 Hệ thống IDS .........................................................................................................4 1.2.1 Một hệ thống IDS bao gồm các thành phần .....................................................4 1.2.2 Phân loại các hệ thống IDS..............................................................................5 1.2.2.1 Network-based Intrusion Detection System (NIDS) ..................................5 1.2.2.2 Host-based Intrusion Detection System (HIDS) ........................................7 1.2.2.3 Hybrid Intrusion Detection System ...........................................................8 1.3 Hệ thống IPS..........................................................................................................9 1.3.1 Phân loại IPS .................................................................................................10 1.3.2 Các thành phần chính ....................................................................................11 1.3.2.1 Module phân tích gói (packet analyzer)..................................................11 1.3.2.2 Module phát hiện tấn công .....................................................................11 1.3.2.3 Module phản ứng ....................................................................................14 1.3.3 Mô hình hoạt động ........................................................................................15 1.3.4 Đánh giá hệ thống IPS ...................................................................................17 1.4. Kết chương .........................................................................................................18 I CHƯƠNG 2 : TÌM HIỂU VÀ NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN TẤN CÔNG TRONG HỆ THỐNG IPS .................................................................... 21 2.1 Tổng quan về phương pháp phát hiện bất thường .................................................21 2.1.1 Thế nào là bất thường trong mạng?................................................................21 2.1.2 Các nguồn dữ liệu dùng cho phát hiện bất thường .........................................22 2.1.2.1 Network Probes ......................................................................................23 2.1.2.2 Lọc gói tin cho việc phân tích luồng ( Packet Filtering ) ........................23 2.1.2.3 Dữ liệu từ các giao thức định tuyến.........................................................24 2.1.2.4 Dữ liệu từ các giao thức quản trị mạng....................................................24 2.1.3 Các phương pháp phát hiện bất thường..........................................................25 2.1.3.1 Hệ chuyên gia ( Rule-based ) ..................................................................25 2.1.3.2 Mạng Nơ-ron ( Artificial Neural Network)..............................................27 2.1.3.3 Máy trạng thái hữu hạn ..........................................................................31 2.1.3.4 Phân tích thống kê...................................................................................32 2.1.3.5 Mạng Bayes ............................................................................................34 2.2. Kết chương .........................................................................................................35 CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN BẤT THƯỜNG DỰA TRÊN KHAI PHÁ DỮ LIỆU .......................................................................................................... 36 3.1 Khai phá dữ liệu...................................................................................................36 3.2 Các thuật toán phát hiện bất thường trong khai pháp dữ liệu ...............................39 3.2.1 Đánh giá chung về hệ thống ..........................................................................39 3.2.2 Phần tử dị biệt ...............................................................................................41 3.2.2.1 Phương pháp điểm lân cận gần nhất (NN) ...............................................42 3.2.2.2 Phương pháp pháp hiện điểm dị biệt dựa trên khoảng cách Mahalanobis 43 3.2.2.3 Thuật toán LOF.......................................................................................44 3.2.2.4 Thuật toán LSC-Mine .............................................................................48 3.3 Mô hình phát hiện bất thường dựa trên kỹ thuật KPDL .......................................50 I 3.3.1 Module lọc tin ...............................................................................................51 3.3.2 Module trích xuất thông tin ...........................................................................51 3.3.3 Môđun phát hiện phần tử di biệt ....................................................................52 3.3.4 Module phản ứng...........................................................................................55 3.3.5 Module tổng hợp ...........................................................................................55 3.4 Giới thiệu về hệ thống phát hiện xâm nhập MINDS .............................................58 3.4.1 Giới thiệu hệ thống ........................................................................................58 3.4.2 So sánh SNORT và MINDS ..........................................................................64 3.4.3.1 Tấn công dựa trên nội dung.....................................................................64 3.4.3.2 Hoạt động scanning................................................................................65 3.4.3.3 Xâm phạm chính sách ............................................................................66 3.5 Kết chương .........................................................................................................66 KẾT LUẬN ............................................................................................................... 68 Hướng phát triển của luặn văn:...............................................................................69 TÀI LIỆU THAM KHẢO II BẢNG CÁC TỪ VIẾT TẮT, KÝ HIỆU Từ viết tắt Đầy đủ Tiếng Việt IPS IDS NIDS HIDS OOB IPS In-line IPS UDP TCP FTP DNS ROC DoS OSPF SNMP MIB FCM MLP SOM Intrusion Prevension System Instrusion Detection System Network-based Intrusion Detection System Host-based Intrusion Detection System Out of band Intrusion Prevension System In line Intrusion Prevension System User Datagram Protocol Transmission Control Protocol File Transfer Protocol Domain Name Server Recevier Operating Characteristic Curve Denial of Service Open shortest path first Simple Network Management Protocol Management information base Fuzzy cognitive map Multi-layered Perceptron Self-Organizing Maps Hệ thống ngăn chặn truy cập trái phép Hệ thống phát hiện truy cập trái phép Hệ thống phát hiện truy cập cho mạng Hệ thống phát hiện truy cập cho máy trạm Hệ thống IPS bố trí bên ngoài Hệ thống IPS bố trí thẳng hàng Giao thức truyền dữ liệu UDP Giao thức truyền dữ liệu TCP Giao thức truyền file FTP Dịch vụ phân giải tên miền Đường cong đặc trưng hoạt động Tấn công từ chối dịch vụ Giao thức định tuyến OSPF Tập hớp giao thức quản lý mạng đơn giản Cơ sở quản lý thông tin Bản đồ nhận thức mờ Kiến trúc nhận thức đa tầng Bản đồ tổ chức độc lập II FSM IDES NIDES EMERALD LOF MINDS Finite states machine Intrusion Detection Expert System Next Generation Intrusion Detection Expert System Event Monitoring Enabling Responses to Anomalous Live Disturbances Local Outlier Factor Minnesota Intrusion Detection System Máy trạng thái hữu hạn Hệ thống chuyên gia phát hiện truy cập trái phép Thế hệ tiếp theo của hệ thống chuyên gia phát hiện truy cập trái phép Hệ thống phát hiện truy cập EMERALD Nhân tố dị biệt địa phương Hệ thống phát hiện truy cập Minnesota III THÔNG TIN HÌNH VẼ/BẢNG Hình vẽ/bảng Trang Hình 1.1 : Hệ thống Network-based Intrusion Detection Hình 1.2 : Hệ thống Host-based Intrusion Detection Hình 1.3: Hệ thống Hybrid Intrusion Detection Hình 1.4 : Mô hình thêm luật phương pháp phát hiện dựa trên dấu hiệu Hình 1.5: Mô hình thêm luật phương pháp phát hiện dựa trên phát hiện bất thường Hình 1.6 : Mô hình hoạt động của hệ thống IPS Hình 1.7 : Minh họa đường cong ROC Hình 2.1: Mô hình hệ thống phát hiện bất thường dựa trên tập luật Hình 2.2: Mô hình mạng nơron Hình 2.3: Cấu trúc một hệ thống phát hiện bất thường sử dụng SOM Hình 2.4: Công thức chuẩn hóa dữ liệu đầu vào Hình 2.5: Thiết kế của mạng SOM Hình 2.6: Mô hình FSM cho kết nối TCP Hình 3.1: Gán giá trị để lượng hóa các cuộc tấn công trên sơ đồ Hình 3.2: Minh họa bài toán phát hiện phần tử dị biệt. Hình 3.3: Minh họa phương pháp điểm lân cận gần nhất phát hiện phần tử dị biệt. Hình 3.4: Ưu điểm của phương pháp dựa trên khoảng cách Mahalanobis khi tính các khoảng cách. Hình 3.5: Ví dụ khoảng cách R-dis (reach-dist) Hình 3.6: Ưu điểm của phương pháp LOF Hình 3.7: Thuật toán LSC-Mine Hình 3.8: Mô hình hệ thống phát hiện bất thường sử dụng kỹ thuật KPDL Hình 3.9: Đường cong ROC của các thuật toán 6 8 9 12 13 15 18 26 27 29 30 30 31 40 41 43 44 45 47 50 50 54 III Hình 3.10: Mô tả hoạt động của môđun tổng hợp Hình 3.11: Mô hình hoạt động của hệ thống MINDS Hình 3.12: Bảng kết quả đầu ra của hệ thống MINDS – cột đầu tiên là giá trị bất thường Bảng 3.1: Danh sách các cảnh báo chưa rút gọn Bảng 3.2: Danh sách các cảnh báo sau khi đã rút gọn Bảng 3.3: Những đặc điểm chọn “dựa trên thời gian” Bảng 3.4: Những đặc điểm chọn “dựa trên kết nối” 56 59 62 57 58 60 60 1 MỞ ĐẦU Đặt vấn đề Vấn đề an toàn, an ninh mạng không mới nhưng càng ngày càng trở nên quan trọng cùng với sự phát triển theo chiều rộng và chiều sâu của xã hội thông tin. Lấy ví dụ đơn giản như gần đây rất nhiều trang web, các hệ thống mạng ở Việt Nam bị hacker tấn công gây hậu quả đặc biệt nghiêm trọng. Hơn nữa các cuộc tấn công hiện nay ngày một tinh vi, phức tạp và có thể đến từ nhiều hướng khác nhau. Trước tình hình đó các hệ thống thông tin cần phải có những chiến lược, những giải pháp phòng thủ theo chiều sâu nhiều lớp. IPS (Intrusion Prevension System – Hệ thống ngăn chặn truy nhập trái phép) là một hệ thống có khả năng phát hiện trước và làm chệch hướng những cuộc tấn công vào mạng. IPS đáp ứng được yêu cầu là một hệ thống phòng thủ chiến lược theo chiều sâu, nó hoạt động dựa trên cơ sở thu thập dữ liệu mạng, tiến hành phân tích, đánh giá, từ đó xác định xem có dấu hiệu của một cuộc tấn công hay không để đưa ra các cảnh báo cho các nhà quản trị mạng hoặc tự động thực hiện một số thao tắc nhằm ngăn chặn hoặc chấm dứt tấn công. Các hệ thống IPS hiện nay có hai hướng tiếp cận chính là dựa trên dấu hiệu và dựa trên phát hiện bất thường. Đối với hướng dựa trên dấu hiệu, hệ thống sẽ sử dụng các mẫu tấn công từ các lần tấn công trước tiến hành so sánh để xác định dữ liệu đang xét có phải là một cuộc tấn công không, hướng này được sử dụng tương đối rộng rãi nhưng có điểm yếu là chỉ phát hiện được các dạng tấn công đã biết trước. Đối với hướng dựa trên phát hiện bất thường, hệ thống sẽ xây dựng các hồ sơ mô tả trạng thái bình thường, từ đó xét được một hành động là bất thường nếu các thông số đo được của hành động đó có độ khác biệt đáng kể với mức “bình thường”. Hướng tiếp cận này có nhiều ưu điểm hơn cách tiếp cận dựa trên dấu hiệu do nó có khả năng phát hiện ra các cuộc tấn công mới. Nội dung của đề tài Xuất phát từ vấn đề nêu trên, nội dung của đề tài sẽ bao gồm những vấn đề sau: 2  Nghiên cứu, tìm hiểu các vấn đề tông quan về hệ thống IPS bao gồm phân loại, chức năng cơ bản và hoạt động, các hướng phát triển.  Tìm hiểu hệ thống IPS dựa trên phát hiện bất thường, phân tích ưu nhược điểm của hướng tiếp cận này. Nghiên cứu các kỹ thuật được sử dụng như: Phân tích thống kê, mạng Neutral, Hệ chuyên gia, Máy trạng thái hữu hạn, Khai phá dữ liệu ….  Nghiên cứu cụ thể một kỹ thuật sử dụng trong phát hiện bất thường đó là kỹ thuật Khai phá dữ liệu (data mining). Đưa ra các đánh giá, so sánh hệ thống sử dụng kỹ thuật nay so với các kỹ thuật khác. Cấu trúc luận văn Luận văn sẽ được chia thành 3 chương chính dựa vào nội dung nêu trên:  Chương 1: Giới thiệu tổng quan về hệ thống IPS , những thành phần và chức năng chính của hệ thống.  Chương 2: Tìm hiểu các phương pháp phát hiện tấn công dựa trên phát hiện bất thường đang được áp dụng hiện nay như: Phân tích thống kê, Mạng Neutral, Hệ chuyên gia….  Chương 3: Tìm hiểu về kỹ thuật Khai phá dữ liệu cũng như hệ thống IPS có sử dụng phương pháp phát hiện bất thường ứng dụng khai phá dữ liệu. 3 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG IPS 1.1 Lịch sử ra đời Hệ thống Firewall (tường lửa) cổ điển đã được ứng dụng trong hệ thống mạng để bảo vệ mạng khỏi các cuộc tấn công hoặc truy nhập trái phép từ rất lâu. Tuy nhiên trong quá trình hoạt động Firewall đã thể hiện nhiều nhược điểm cố hữu. Thứ nhất, hệ thống Firewall là một hệ thống thụ động, Firewall hoạt động trên cơ sở các tập luật, các luật trên Firewall phải được người quản trị cấu hình hay chỉ định cho phép hay không cho phép gói tin đi qua. Bản thân hệ thống Firewall không thể nhận biết được các mối nguy hại đến từ mạng mà nó phải được người quản trị mạng chỉ ra thông qua việc thiết lập các luật trên đó. Thứ hai, Hệ thống Firewall hoạt động chủ yếu ở lớp mạng trở xuống, Firewall ngăn chặn các truy nhập thông qua các trường địa chỉ IP đích và nguồn, các cổng dịch vụ (TCP/UDP), một số Firewall còn ngăn chặn ở lớp vật lý thông qua địa chỉ MAC Address. Như vậy, các thông tin mà Firewall dùng để ngăn chặn các truy nhập là ở trong phần tiêu đề của gói tin, Firewall cổ điển không thể đọc thông tin trong phần tải của gói tin (Pay Load) là nơi chứa nội dung thông tin được truyền đi, nơi tiềm ẩn các mã nguy hiểm gây hại cho hệ thống. Thứ ba, do không có khả năng đọc nội dung gói tin nên hệ thống Firewall chỉ có khả năng bảo vệ vòng ngoài của hệ thống, bản thân nó không có khả năng chống các cuộc tấn công xuất phát từ bên trong mạng. Trong bối cảnh đó, IDS ra đời như là một sự bổ sung cho hệ thống Firewall cổ điển. IDS có khả năng bắt và đọc gói tin, phân tích gói tin để phát hiện ra các nguy cơ tấn công tiềm ẩn trong nội dung của gói tin. Tuy nhiên IDS lại chỉ sinh ra các cảnh báo cho hệ thống hoặc cho người quản trị mạng, có nghĩa hoạt động IDS chỉ mang tính chất cảnh báo và trợ giúp thông tin cho người quản trị mạng, căn cứ trên các thông tin cảnh báo về bảo mật, người quản trị mạng phải tiến hành ra lệnh cho Firewall ngăn chặn cuộc tấn công. Như thế bản thân hệ thống IDS vẫn là một hệ thống thụ động. IDS là sự bổ sung cần thiết cho hệ thống an ninh cổ điển, tuy nhiên nó chưa triệt để, do đó người ta phải kết hợp hoạt động của IDS với hệ thống Firewall để tạo ra một 4 hệ thống an ninh có khả năng phát hiện dấu hiệu các cuộc tấn công và chủ động ngăn chặn các cuộc tấn công đó. Hệ thống như vậy được biết đến với cái tên hệ thống ngăn chặn truy nhập IPS. Các phần tiếp theo sẽ trình bày về cấu trúc cũng như hoạt động của hệ thống IDS và IPS. 1.2 Hệ thống IDS IDS là từ viết tắt tiếng anh của Intrusion Detection System hay còn gọi là hệ thống phát hiện các truy nhập trái phép. IDS có nhiệm vụ rà quét các gói tin trên mạng, phát hiện các truy nhập trái phép, các dấu hiệu tấn công vào hệ thống từ đó cảnh báo cho người quản trị hay bộ phận điều khiển biết về nguy cơ xảy ra tấn cống trước khi nó xảy ra. Một hệ thống phát hiện các truy nhập trái phép có khả năng phát hiện tất cả các luồng dữ liệu có hại từ mạng vào hệ thống mà các Firewall không thể phát hiện được. Thông thường các cuộc tấn công trên mạng thuộc các kiểu tấn công: từ chối dịch vụ, phá hoại các dữ liệu trên các ứng dụng, các cuộc tấn công vào máy trạm như thay đổi quyền trên máy, đăng nhập bất hợp pháp và truy nhập vào các tệp tin nhạy cảm hoặc là các loại Virus, Trojan, Worm độc hại khác. 1.2.1 Một hệ thống IDS bao gồm các thành phần  Bộ phát hiện (Sensor): Là bộ phận làm nhiệm vụ phát hiện các sự kiện có khả năng đe dọa an ninh của hệ thống mạng, bộ phát hiện có chức năng rà quét nội dung của các gói tin trên mạng, so sánh nội dung với các mẫu và phát hiện ra các dấu hiệu tấn công hay còn gọi là sự kiện.  Bộ giao diện (Console):Là bộ phận làm nhiệm vụ giám sát các sự kiện, các cảnh báo được phát hiện và sinh ra từ các Sensor và điều khiển hoạt động của các bộ Sensor.  Bộ xử lý (Engine): Có nhiệm vụ ghi lại tất cả các báo cáo về các sự kiện được phát hiện bởi các Sensor trong một cơ sở dữ liệu và sử dụng một hệ thống các luật để đưa ra các cảnh báo trên các sự kiện an ninh nhận được cho hệ thống hoặc cho người quản trị. Như vậy, hệ thống IDS hoạt động theo cơ chế “phát hiện và cảnh báo”. Các Sensor là bộ phận được bộ trí trên hệ thống tại những điểm cần kiểm soát, Sensor bắt 5 các gói tin trên mạng, phân tích gói tin để tìm các dấu hiệu tấn công, nếu gói tin có dấu hiệu tấn công, Sensor lập tức đánh dấu đấy là một sự kiện và gửi báo cáo kết quả về cho Engine, Engine ghi nhận tất cả các báo cáo của tất cả các Sensor, lưu các báo cáo vào trong cơ sở dữ liệu của mình và quyết định đưa ra mức cảnh báo đối với sự kiện nhận được. Console làm nhiệm vụ giám sát các sự kiện và các cảnh báo, đồng thời điều khiển hoạt động của các Sensor. Các mẫu (Signatures): Các Sensor hoạt động theo cơ chế “so sánh với mẫu”, các Sensor bắt các gói tin trên mạng, đọc nội dung gói tin và so sánh các xâu trong nội dung gói tin với hệ thống các mẫu tín hiệu nhận biết các cuộc tấn công hoặc mã độc gây hại cho hệ thống, nếu trong nội dung gói tin có một xâu trùng với mẫu, Sensor đánh dấu đó là một sự kiện bình thường hay đã có dấu hiệu của sự tấn công từ đó sinh ra cảnh báo. Các tín hiệu nhận biết các cuộc tấn công được tổng kết và tập hợp thành một bộ gọi là mẫu hay signatures. Thông thường các mẫu này được hình thành dựa trên kinh nghiệm phòng chống các cuộc tấn công, người ta thành lập các trung tâm chuyên nghiên cứu và đưa ra các mẫu này để cung cấp cho hệ thống IDS trên toàn thế giới. 1.2