Khóa luận Xây dựng hệ thống IDS - Snort trên hệ điều hành Linux

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC HOA SEN KHOA KHOA HỌC VÀ CÔNG NGHỆ Giảng viên hướng dẫn : Nguyễn Ngọc Như Hằng Nhóm sinh viên thực hiện : Nguyễn Quỳnh MSSV: 070073 Phù Sử Hùng MSSV: 070156 Lớp : VT071 Tháng 12 /năm 2010 PHIẾU GIAO ĐỀ TÀI KHÓA LUẬN TỐT NGHIỆP Mỗi sinh viên phải viết riêng một báo cáo Phiếu này phải dán ở trang đầu tiên của báo cáo 1. Họ và tên sinh viên/ nhóm sinh viên được giao đề tài (sĩ số trong nhóm:____) (1) MSSV: khóa: (2) MSSV: khóa: (3) MSSV: khóa: Chuyên ngành: Mạng máy tính Khoa: Khoa Học - Công Nghệ 2. Tên đề tài: Xây dựng hệ thống IDS – Snort trên hệ điều hành Linux 3. Các dữ liệu ban đầu: Snort được xây dựng với mục đích phát hiện xâm nhập vào hệ thống. Snort có khả năng phát hiện một số lượng lớn các kiểu thăm dò, xâm nhập khác nhau như : buffer overflow, ICMP, virus…Snort là phần mềm open source cung cấp cho nhà quản trị các thông tin cần thiết để xử lý các sự cố khi bị xâm nhập 4. Các yêu cầu đặc biệt: Hiểu được khái niệm, cách hoạt động của IDS - Snort. Cài đặt, cấu hình Snort trên hệ điều hành Ubuntu. Kiểm chứng kết quả đạt được sau khi cài đặt thành công 5. Kết quả tối thiểu phải có: Nắm rõ khái niệm về IDS và Snort Cài đặt, cấu hình thành công Snort trên hệ điều hành Ubuntu Ngày giao đề tài:……../………./………Ngày nộp báo cáo: ……/…………/ Họ tên GV hướng dẫn 1: Nguyễn Ngọc Như Hằng…….………Chữ ký: Họ tên GV hướng dẫn 2: …………………...…………………..Chữ ký: Ngày …. tháng … năm… Trích Yếu Intrusion Detection System (IDS) là hệ thống phòng chống và phát hiện xâm nhập thông minh nhất hiện nay. IDS phát hiện những tín hiệu, biểu hiện, hành vi của người xâm nhập trước khi có thể gây thiệt hại đến hệ thống mạng như làm cho dịch vụ mạng ngừng hoạt động hay mất dữ liệu. Từ đó chúng ta có thể ngăn chặn thông qua các biện pháp kỹ thuật khác nhau. Đề tài của chúng tôi với mục tiêu là xây đựng một hệ thống Snort – IDS trên hệ điều hành Ubuntu, hệ thống này với mục đích phát hiện và phòng chống các hành động tấn công và thâm nhập trong mạng. Do đó đề tài tập trung nghiên cứu vào phương thức hoạt động và vận hành của hệ thống Snort – IDS đồng thời đưa ra cách cài đặt và thiết lập một hệ thống IDS hoàn chỉnh trên hệ điều hành Ubuntu. Bên cạnh đó chúng tôi đưa ra giải pháp nhằm tăng cường khả năng hoạt động và vận hành của hệ thống thông qua việc sử dụng barnyard để tăng cường khả năng ghi lại log của hệ thống và oinkmaster để tự động liên tục cập nhật rule. Ngoài việc sử dụng hệ thống rule có sẵn, đề tài tìm hiểu cách tạo ra rule theo yêu cầu nhằm giám sát và kiểm tra đối với một luồng thông tin cụ thể khi mà hệ thống rule của snort không thể đáp ứng. Thông qua việc nghiên cứu, đề tài của chúng tôi đưa một cái nhìn tổng quan về hệ thống Host-based IDS và Network-based IDS, về sự khác và giống nhau của hai hệ thống từ đó có thể ứng dụng trong mô hình mạng thực tế. Mục Lục Lời Cảm Ơn Chúng tôi xin chân thành cảm ơn cô Nguyễn Ngọc Như Hằng - giảng viên trực tiếp hướng dẫn nhóm chúng tôi thực hiện khóa luận tốt nghiệp này này, đã tận tình hướng dẫn và hỗ trợ và giúp chúng tôi giải quyết khó khăn trong quá trình nghiên cứu đề tài này. Chúng tôi chân thành cảm ơn sự nhiệt tình của cô, cô đã giúp chúng tôi giải đáp những thắc mắc cũng như cung cấp những tài liệu cần thiết cho quá trình nghiên cứu đề tài của chúng tôi. Một lần nữa xin chân thành cảm ơn cô. Chúng tôi xin gửi lời cảm ơn đến những giảng viên của ngành Mạng Máy Tính trường đại học Hoa Sen đã tận tình giảng dạy và tạo điều kiện cho chúng tôi học tập, nghiên cứu. Để từ đó chúng tôi có được một nền tảng kiến thức vững chắc làm tiền đề giúp cho chúng tôi thực hiện tốt đề tài tốt nghiệp của mình. NHẬN XÉT CỦA NGƯỜI HƯỚNG DẪN Người hướng dẫn ký tên Nhập Đề Khái niệm tấn công một máy tính bằng việc tác động trực tiếp vào máy đó đã trở thành quá khứ khi mà ngày nay con người có thể truy cập vào một máy chủ ở cách xa mình nửa vòng trái đất để lấy thông tin website, mail… Hacker cũng làm những công việc tương tự nhưng họ tận dụng những lỗ hỏng của hệ thống nhằm chiếm quyền sử dụng hay ngăn chặn sự truy cập của người dùng khác vào hệ thống đó. Nhằm ngăn chặn những truy nhập trái phép vào hệ thống người ta sử dụng những thiết bị bảo mật như Firewall hay các thuật toán mã hóa. Thế nhưng đối với những máy chủ chạy những dịch vụ như web, mail thì những công cụ bảo mật này vẫn chưa hoàn hảo vì đây là những máy chủ được mọi người từ bên ngoài truy cập (public server). Hacker sẽ lợi dụng chính những dịch vụ này để tấn công vào hệ thống. Điều đó là nguyên nhân dẫn đến sự cần thiết sử dụng công cụ IDS (Intrusion Detection System) với mục đích là dò tìm và nghiên cứu các hành vi bất thường và thái độ của người sử dụng trong mạng, phát hiện ra các hành vi lạm dụng đặc quyền để giám sát hệ thống mạng. Nguyên Lý Hoạt Động Của Snort Quá trình khởi động của snort Quá trình khởi động của snort chia làm 3 giai đoạn Các đối số của command-line được phân tích để xác định chế độ chạy của snort và thiết lập các biến môi trường. File cấu hình được xử lý, trong file này chứa các thông tin cấu hình về rule, preprocessor, output plug-in… Sau khi thông tin cấu hình được đọc, snort bắt đầu thiết lập detection engine, cácthư viện pcap… Trình command-line của snort Command line của snort rất linh hoạt và có nhiều option cho phép người dùng thiết lập và cấu hình thông qua command line. Điều này cho phép người dùng có thể thay đổi cấu hình cấu hình của snort mà không cần phải thay đổi file cấu hình. Đồng thời có thể cho phép nhiều tiến trình snort chia sẽ với nhau một file cấu hình. Để xem các command line option trong snort được xử lý thế nào người dùng có thể xem hàm ParseCmdLine trong file snort.c. Đồng thời qua đó người dùng cũng có thể tạo thêm các option tùy theo ý muốn. Từ phiên bản 2.6 snort đã có hơn 40 command line options. Xử lý file cấu hình File cấu hình chứa các thông số cấu hình cho snort, một số thông số cấu hình sẽ không được hỗ trợ thông qua command line. Các thông số này bao gồm các loạigiá trị cấu hình, preprosessor, các chỉ dẫn cho output, rule và các thông số khác. File cấu hình của snort được định dạng theo từng dòng và được phân tích và chạy theo từng dòng một. Snort đọc toàn bộ các line và phân tích từng line như là một đối tượng riêng biệt. Để thực hiện việc phân tích các rule snort sử dụng hàm ParseRulesFile trong file parser.c. Để phân tích các thành phần còn lại trong file cấu hình snort tích hợp code dùng cho việc phân tích cho preprocessor, dectection option, và các output plug-in vào trong các module đó. Phân tích các rule Mỗi rule trong snort bao gồm 2 phần: header và các option. Header của rule dùng để phân biệt loại rule (alert, log, pass…), protocol, source và destination IP, source và destination port mà rule đang dùng. Phần Option của rule chứa nhiều loại option khác nhau quy định các thông tin về rule và khác detect option như sid (snort identifier), message…Khi rule được phân tích snort sẽ tiến hành xây dựng tất cả các rule theo dạng cây. Phần header của rule dùng để tạo thành rule tree node (RTN) và phần option sẽ tạo thành option tree node (OTN). Một phần của OTN sẽ bao gồm các dection option. Tất cả các OTN tương ứng với một header sẽ được nhóm lại dưới cùng một RTN. Xử lý gói tin trong snort Snort bắt đầu với việc tiếp nhận gói tin. Sau khi gói tin được snort tiếp nhận, các gói tin lúc này được chuyển vào packet decoder. Sau khi được decode, gói tin sẽ được chuyển vào preprocessor để tiêu chuẩn hóa gói tin, phân tích, phân tích thống kê và phát hiện các protocol bất thường. Tiếp theo đó gói tin sẽ được chuyển vào detection engine để đối chiếu kiểm tra với rulebase trong snort. Cuối cùng gói tin được gửi vào các ouput plug-in để loging và cảnh báo. Tiếp nhận gói tin Lúc bắt đầu, snort tiến hành thực hiện chức năng packet processing của nó. Snort đi vào chế độ sniffing mode bằng cách sử dụng hàm InterfaceThread trong file snort.c. Hàm này khởi động libpcap để lấy các gói tin từ interface. Libpcap là một thư viện hỗtrợ nhiều nền tảng khác nhau và cho phép tiếp nhận tất cả các gói tin trực tiếp từ interface. Libpcap giúp cung cấp những thông tin cơ bản sau đây cho mỗi gói tin: Thời gian mà gói tin được bắt từ interface tính đến phần trăm giây Chiều dài gói tin Số byte của packet đã bắt được Link type của packet (Ethernet, Point to Point…) Con trỏ đến nội dung của gói tin Chức năng xử lý gói tin của snort được thực hiện qua nhiều giai đoạn khác nhau. Đầu tiên snort gọi libpcap bằng hàm pcap_dispatch để xử lý tất cả các gói tin đang chờ. Với mỗi gói tin libpcap gọi hàm PcapProcessPacket trong file snort.c để xử lý gói tin. Hàm này khởi tạo lại giá trị counter và số liệu của từng gói tin vàgọi hàm ProcessPackettrong file snort.c. Hàm ProcessPacket xử lý tất cả các chi tiết của công việc decode gói tin, xuất gói tin ra màn hình (nếu chạy ở chế verbose mode), gọi hàm logging packet (nếu chạy ở log mode) và gọi các preprocessor (nếu chạy ở IDS mode). Khi chạy snort ở chế độ inline, vấn đề lúc này là không có thư viện nào tương đương với libpcap cho snort khi chạy ở Sniffer, Packages và Intrusion Detection mode.Tuy nhiên snort có thể tiếp nhận được gói tin trực tiếp từ iptables thay vì từ libpcap. Nhưng do snort hoạt động trên nền tảng pcap, các gói tin sẽ được chuyển thành định dạng pcap sau đó sẽ gọi hàm PcapProcessPacket. Khi snort hoàn tất việc xử lý gói tin, snort có thể chuyển gói tin đi với nội dung không thay đổi hoặc có thể bị thay đổi, reject gói tin hoặc drop gói tin mà không cần phản hồi lại. Việc xử lý gói tin của snort khi chạy ở chế độ inline sẽ thực hiện phụ thuộc vào cờ được gán trong lúc snort xử lý gói tin. Người dùng có thể xem chi tiết phương thức xử lý của snort inline trong file inline.c Snort chỉ có thể có thể xử lý một gói tin tại một thời điểm. Mặc dù pcap và API của inline đều có thể buffer các gói tin, nếu snort tốn quá nhiều thời gian để xử lý gói tin trong buffer thì các gói tin này sẽ bị drop. Khi gói tin bị drop snort sẽ không có đủ thong tin cần thiết để có thể phát hiện hành động tấn công mặc dù ở chế độ inline drop gói tin thì đồng nghĩa với việc hành động tấn công cũng bị drop theo. Ngoài ra việc này còn làm cho việc kết nối trong mạng gặp vấn đề và giảm khả năng hoạt động của mạng, đồng thời làm cho preprocessors (frag3, stream4, stream5…)vì các preprocessor này hoạt động dựa trên thông tin thu thập từ nhiều gói tin khác có liên quan với nhau. Và nếu một hay nhiều gói tin bị drop snort sẽ tiếp tục chờ những gói tin bị mất và thiếu, do đó các gói tin tiếp theo sẽ được đưa vào hang đợi. Trong quá trình chờ đợi như vậy snort sẽ tiêu thụ nhiều bộ nhớ và CPU của hệ thống. Giải mã gói tin Sau khi snort có được gói tin, gói tin được chuyển qua cho các decoder ở lớp trên và việc gói tin được chuyển cho decoder nào sẽ dựa vào loại link layer của gói tin đó. Snort hỗ trợ các loại linklayer sau: Ethernet, 802.11, Token Ring, FDDI, Cisco HDLC, SLIP, PPP và OpenBSD’s PF. Đồng thời snort hỗ trợ nhiều protocol sau đây: IP, Internet Control Message Protocol (ICMP),TCP, and User Datagram Protocol (UDP). Người dùng có thể xem về các decoder trong file decode.c. Sau khi một link layer đã được xác định và decoder đã được chọn, các con trỏ sẽ được dùng để trỏ đến các phần khác nhau của gói tin. Dựa vào thông tin decode được, nó sẽ gọi tiếp các decoder cho những lớp tiếp theo cho đến khi nào không còn decoder nào được gọi nữa. Trong khi decode snort sẽ kiểm tra tính sự hợp lệ của gói tin tại mỗi lớp và sẽ xếp các sự kiện nếu phát hiện một gói tin nào đó bất thường. Quá trình giải mã một gói tin Trong sơ đồ trên mô phỏng gói tin được đưa vào decoder dành cho ethernet, hàm DecodeEthPkt được dùng. Sau khi decode gói tin, thông tin về source và destination MAC được làm rõ và dựa vào thông tin về lớp tiếp theo (ether_type) decoder tiếp theo sẽ được gọi. Giả sử trong trường hợp giá trị của ether_type lúc này là 2048 (ETHER_TYPE_IP) snort biết được lớp tiếp theo sẽ là IP và gọi hàm DecodeIP. Quy trình sẽ tiếp tục cho đến khi không còn decoder nào được gọi. Trong trường hợp gói tin có link type là Ethernet thì gói tin sẽ được chuyển vào hàm DecodeEthPkt, sau đó hàm này sẽ gọi DecodeIP, tiếp sau là DecodeTCP. Sau khi decode cấu trúc của một gói tin sẽ được làm rõ, lúc nào gói tin chứ nhiều con trỏ khác nhau trỏ đến những phần khác nhau của gói tin, điều này cho phép snort có thể truy xuất nhanh đến những thành phần trong gói tin. Con trỏ này cho phép các thành phần của snort như preprocessor, detection engine và output-plugin có thực hiện công việc một cách dễ dàng sau này. Trong sự phát triển và cải tiến của snort, một số con trỏ được thêm vào trong gói tin cho phép các thành phần khác nhau của snort có thể thông tin cho nhau. Lúc nào trong cấu trúc gói tin lúc này sẽ chứa con trỏ chỉ đến TCP stream tracker, IP fragment tracker và flow tracker. Preprocessor Sau khi gói tin được decode nó được chuyển qua preprocessor. Preprocessor của snort đóng một vai trò rất quan trọng với nhiều chức năng khác nhau phát hiện các protocol không hợp lệ, phát hiện thông qua các số liệu thu thập được hoặc phát hiện trực tiếp mà không cần dựa vào rule. Detection Engine Sau khi được xử lý bởi preprocessor, gói tin lúc nào được chuyển vào detection engine. Detection engine giống như một preprocessor và nó là preprocessor được sử dụng cuối cùng. Nhiệm vụ của detection engine là đánh giá gói tin dựa vào các rule có sẵn trong snort. Để làm điều này snort sử dụng một rule tree có nghĩa là gói tin được so sánh dựa vào RTN, nếu một RTN được thỏa mãn nó sẽ tìm tiếp trong các danh sách của các OTN. Quy trình tiếp tục cho đến khi snort tìm đến hết rule tree. Mặc dù vẫn sử dụng chức năng tìm theo danh sách cho chức năng đánh giá và phát hiện các gói tin. Nhưng snort không còn dùng cây của các OTN nữa. Thay vào đó snort dùng fast pattern matcher, fast pattern matcher xác định một tập hợp các OTN và OTN nào sẽ được đánh giá. Sau đó snort kiểm tra từng OTN và xắp xếp thành một hằng đợi gồm các OTN đã khớp với nội dung trong gói tin. Ghi log và cảnh báo Sau khi tất cả các preprocessor toàn tất công việc của chúng và gói tin lúc này đã được đánh giá bởi tập các rule thông qua detection engine. Snort bắt đầu công việc ghi lại log và đưa ra cảnh báo. Snort không đưa ra cảnh báo ngay lập tức khi gói tin khớp với rule đầu tiên trong tập rule mà sẽ ghi lại sự kiện và cảnh báo đó vào một hàng đợi, sau khi gói tin được so sánh hết trong tập rule, snort sẽ đánh giá xem cảnh báo nào sẽ được đưa ra. Hàng đợi các sự kiện cảnh báo Event queue cung cấp 2 chức năng sau: Khả năng điều khiển các rule, rule nào sẽ được chọn nếu có nhiều rule khớp với nội dung trong gói tin Khả năng đưa ra nhiều cảnh báo trên cùng một rule Ở những phiên bản trước của snort, snort đưa ra cảnh báo ngay từ rule đầu tiên và những rule nào có độ ưu tiên thấp sẽ bị bỏ qua. Người dùng có thể sắp xếp thứ tự các rule sẽ được đánh giá, nhưng điều này phức tạp và đòi hỏi phải xây dựng rule lại từ đầu. Với event queue thay vì cảnh báo ngay từ rule đầu tiên (hoặc decoder và preprocessor có thể đưa ra cảnh báo) lúc này các sự kiện sẽ được xếp vào một hàng đợi. Sau khi hàng đợi đã đầy hoặc khi snort đã hoàn thành việc xử lý hết tất cả các rule. Nó sẽ kiểm tra event queue và quyết định những cảnh báo nào sẽ được đưa ra. Người dùng có thể cấu hình trong snort để xắp xếp thứ tự cảnh báo theo rule nào khớp nhiều nhất với gói tin hoặc theo thứ tự ưu tiên của các rule. Nếu người dùng cấu hình snort đưa ra nhiều cảnh báo trên cùng một gói tin thì lúc này snort sẽ tiến hành kiểm tra hết hàng đợi hoặc cho đến khi nó đưa ra hết số lượng cảnh báo tối đa cho phép. Theo mặc định snort sẽ đưa ra cảnh báo theo rule nào khớp nhiều nhất với tin và đưa ra 3 cảnh báo cho một gói tin. Người dùng có thể thay đổi giá trị event_queue option trong file snort.conf. Ngưỡng đưa ra cảnh báo Sau khi một quyết định về một cảnh báo được đưa ra, snort lúc này sẽ gọi output plug-in, tuy nhiên có 2 bước mà snort sẽ thực hiện trước khi gọi output plug-in và xuất ra màn hình. Đầu tiên là thresholding, sau khi quyết định về một cảnh báo được đưa ra, dectection engine lúc này sẽ gọi thành phần thresholding của dectection engine. Với threshold người dùng có thể giới hạn số lượng cảnh báo được gây ra bởi các rules. Threshold có 3 loại mà snort hỗ trợ cho việc cấu hình là: limit, threshold và đồng thời cả hai. Với limiting người dùng có thể hạn chế các sự kiện có thể phát sinh ra từ một rule đối với những rule quá cơ bản có thể phát sinh ra nhiều cảnh báo. Điều này rất hữu dụng khi có một hành động nào đó cố hình kích hoạt hành động cảnh báo của hàng loạt rule và có thể làm hệ thống quá tải. Ví dụ trong file snort.conf ta có thể cấu hình cho phép một địa chỉ IP source có thể chỉ kích hoạt được một cảnh báo trong thời gian 60 giây. threshold gen_id 1, sig_id 0, type limit, track by_src, count 1, seconds 60 Threshold được dùng để quy định một hành động vi phạm một rule bao nhiêu lần trước khi rule đưa ra cảnh báo. Khi người dùng cấu hình threshold đếm đến 3 cho một hành động login thất bại có nghĩa là, 3 lần đầu tiên cho hành động thất bại sẽ không đưa ra cảnh báo và sẽ cảnh báo cho lần login thất bại tiếp theo. Khi người dùng theo dòng lệnh dưới đây vào file cấu hình điều có đó nghĩa là một source IP sẽ bị cảnh báo sau lần login thất bại trong vòng 60s. threshold:type threshold, track by_dst, count 5, seconds 60; Thresholding là loại kết hợp cho cả 2 loại limit và threshold, dạng này quy định một hành động vị phạm rule bao nhiều lần thì sẽ bị cảnh báo và chỉ đưa cảnh báo với một số lượng nhất định. Ngăn chặn cảnh báo Sau khi dection engine đưa cảnh báo về một rule và sau khi threshold được sử dụng nhưng trước khi hành động được ghi log lại. Bước cuối cùng mà snort phải thực hiện là suppression. Suppression ngăn không cho rule đưa ra cảnh báo về một hành động trong mạng cụ thể mà không cần loại bỏ rule đó ra khỏi rule base. Thông qua việc sử dụng suppression người dùng có thể tinh chỉnh tập rule mà không cần vô hiệu hóa rule. Ví dụ: bằng cách cấu hình thông qua file snort.conf người dùng có thể ngăn không cho snort đưa ra cảnh báo khi có hành động xảy ra nếu destination ip là 10.1.1.1. suppress gen_id 1, sig_id 1852, track by_dst, ip 10.1.1.1 Khảo sát Detection Engine Hầu hết khả năng nhận dạng và phòng chống tấn công của snort được xây dựng bên trong rule và tạo thành detection engine. Hầu hết công việc của detection engine thực hiện là cảnh báo nào sẽ được đưa ra cho những gói tin vi phạm. Rule option là thành phần chủ yếu được dùng cho việc đánh giá gói tin và phát hiện xâm nhập. Một số rule option có cấu trúc phức tạp và có vai trò quan trọng trong detection engine như content, bytetest, bytejump, PCRE hay flowbits rule options. Bộ phận nhận dạng - pattern matcher Trong các phiên bản trước của snort, snort đánh giá gói tin bằng cách so sánh trực tiếp với rule tree cho đến khi tìm thấy rule được khớp hoặc tất cả các rule được được kiểm tra hết. Đây là một cách dễ dàng triển khai và dễ hiểu. Tuy nhiên trong một mạng có lượng traffic lớn và có tốc độ cao thì cần có một phương pháp kiểm tra nhanh hơn. Được phát triển của Marc Norton, một kỹ sư phần mềm của công ty Sourcefire, pattern matcher là thành phần cốt lõi cho dectection engine ngày nay. Xây dựng pattern matcher Việc xây dựng pattern matcher bắt đầu mỗi rule tree, mục đích chính của rule tree là giảm số lượng rule cần được kiểm tra với gói tin, bằng cách giảm số lượng rule thì sẽ giảm được thời gian tìm kiếm trên rule đối với một gói tin. Điều này sẽ làm giảm thời gian snort xử lý gói tin và tăng khả năng hoạt động trên những mạng có tốc độ cao. Pattern matcher bắt đầu bằng việc nhóm các rule lại với nhau dựa trên destination port của rule. Sau đó với mỗi destination port, snort xác định trường content string dài nhất trong content option của rule. Khi snort hoàn tất việc tập hợp content string, snort bắt đầu biên dịch pattern mather thông qua nhiều thuật toán khác nhau. Khi một