Khóa luận Phân tích dữ liệu hệ thống cảnh báo lỗi thiết bị mạng dựa trên bộ công cụ pentaho

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ **************** Nguyễn Văn Tâm PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ PENTAHO KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công Nghệ Thông Tin Hà Nội - 2013 2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ **************** Nguyễn Văn Tâm PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ PENTAHO KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hƣớng dẫn : ThS. Lê Hồng Hải Hà Nội - 2013 1 TÓM TẮT Cùng với việc áp dụng rộng rãi công nghệ thông tin vào trong hầu hết các lĩnh vực trong đời sống, kinh tế, xã hội đó là việc dữ liệu thu nhận được qua thời gian ngày càng nhiều.Vì vậy, yêu cầu thiết yếu đặt ra đối với các doanh nghiệp đó là việc khai thác các dữ liệu một các hiệu quả để phục vụ cho việc kinh doanh ngày càng tốt hơn. Khóa luận này với đề tài áp dụng công cụ Pentaho và kỹ thuật OLAP để phân tích, xử lý kho dữ liệu trong báo cáo viễn thông. 2 LỜI CẢM ƠN Để hoàn thành khóa luận chuyên ngành một cách hoàn chỉnh, em xin bày tỏ lòng cảm ơn chân thành đến các thầy cô đã hướng dẫn thực tập tại trường Đại Học Công Nghệ. Đặc biệt là thầy Lê Hồng Hải, thầy đã trực tiếp hướng dẫn tận tình, sửa chữa và đóng góp nhiều ý kiến quý báu giúp chúng em hoàn thành khóa luận tốt nghiệp của mình. Con xin chân thành cảm ơn Ông Bà, Cha Mẹ đã luôn động viên, ủng hộ vật chất lẫn tinh thần trong suốt thời gian qua. Chân thành cảm ơn đến các bạn trong trong tập thể lớp K54CB đã hỗ trợ để mình có thể hoàn thành tốt khóa luận. Lời cảm ơn chân thành và sâu sắc, em xin gửi đến gia đình, đã luôn sát cánh và động viên em trong những giai đoạn khó khăn nhất. Em cũng xin chân thành gửi lời cảm ơn đến tất cả các thầy cô đã giảng dạy em thời gian qua, đã truyền đạt và trang bị cho em những kinh nghiệm, kiến thức chuyên môn, giúp chúng em mở rộng tầm nhìn khi thâm nhập vào thực tế. Em xin hứa sẽ không ngừng phấn đấu nỗ lực vươn lên trong học tập và công tác sau này. Sinh viên Nguyễn Văn Tâm 3 LỜI CAM ĐOAN Tôi xin cam đoan khóa luận tốt nghiệp là do tôi "Nguyễn Văn Tâm" viết dưới sự hướng dẫn của ThS.Lê Hồng Hải, bộ môn Các hệ thống thông tin, trường Đại học Công nghệ, Đại học Quốc gia Hà Nội. Trong toàn bộ nội dung của khóa luận, tôi xin cam đoan ngoài những phần do cá nhân tự viết, mọi nội dung có nguồn gốc từ nghiên cứu bên ngoài, của cá nhân hay tổ chức đều được chỉ rõ trong trích dẫn và trong danh mục tài liệu tham khảo một cách rõ ràng. Nếu có vấn đề sai sót tôi xin hoàn toàn chịu trách nhiệm. 4 MỤC LỤC Chƣơng 1: Giới thiệu hệ thống và lý do chọn đề tài, tìm hiểu kho dữ liệu, tổng quan về OLAP ............................................................................................................ 10 1.1. Hệ thống xử lý lỗi trong thiết bị mạng Vinaphone ................................... 10 1.2. Kho dữ liệu (Data warehouse) .................................................................. 11 1.2.1. Kho dữ liệu ........................................................................................ 11 1.2.2. Đặc tính kho dữ liệu .......................................................................... 11 1.2.3. Ích lợi của kho dữ liệu ....................................................................... 12 1.2.4. Cấu trúc hệ thống kho dữ liệu ............................................................ 12 1.2.5. Ứng dụng của kho dữ liệu (Data warehouse) .................................... 14 1.3. Tổng quan về OLAP, các mô hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm và nhược điểm của các mô hình. ..................................................................... 15 1.3.1. Giới thiệu OLAP................................................................................ 15 1.3.2. Cấu trúc OLAP .................................................................................. 16 1.3.3. Đơn vị lưu trữ OLAP ......................................................................... 17 1.3.4. Một số mô hình hỗ trợ OLAP ............................................................ 18 1.3.4.1. Mô hình Multidimentional OLAP (MOLAP) ............................. 18 1.3.4.2. Mô hình Relational OLAP (ROLAP) ......................................... 19 1.3.4.3. Mô hình Hybrid OLAP (HOLAP) .............................................. 19 1.3.5. So sánh mô hình dữ liệu .................................................................... 20 Chƣơng 2: Giới thiệu bộ công cụ Pentaho ............................................................... 21 2.1. Tổng quan BI (Pentaho)............................................................................ 21 2.2. Các tính năng mà BI Pentaho hỗ trợ ......................................................... 23 2.3. Lợi ích công cụ BI Pentaho mang lại........................................................ 25 2.4. Tìm hiểu một số công cụ BI áp dụng vào bài toán thực tế........................ 27 2.4.1. Giới thiệu và sử dụng công cụ PDI (Pentaho Data Integration) ........ 27 2.4.1.1. Giới thiệu công cụ PDI ............................................................... 27 2.4.1.2. Sử dụng công cụ PDI .................................................................. 28 2.4.2. Giới thiệu và sử dụng công cụ Schema workbench ........................... 29 2.4.2.1. Giới thiệu Schema workbench .................................................... 29 2.4.2.2. Sử dụng Schema workbench....................................................... 30 5 Chƣơng 3: Xây dựng bài toán dữ liệu trên công cụ Pentaho và kết quả đạt đƣợc ...................................................................................................................................... 32 3.1. Xây dựng bài toán triển khai trên công cụ Pentaho .................................. 32 3.2. Thu thập xây dựng dữ liệu thô từ hệ quản trị Oracle ................................ 32 3.3. Xây dựng Data Warehouse sử dụng công cụ Pentaho .............................. 34 3.4. Xử lý bằng kĩ thuật OLAP sử dụng công cụ Schema-workbench ............ 47 3.4.1. Tạo cube và publish lên server .......................................................... 47 3.4.2. Thiết kế biểu đồ, báo cáo ................................................................... 49 Chƣơng 4: Kết luận .................................................................................................... 58 Tài liệu kham khảo..................................................................................................... 59 6 DANH SÁCH HÌNH VẼ Hình 1: Cấu trúc hệ thống kho dữ liệu ......................................................................... 13 Hình 2: Ứng dụng kho dữ liệu trong Business Intelligence ......................................... 15 Hình 3: Mô hình cấu trúc OLAP .................................................................................. 16 Hình 4: Mô hình dữ liệu MOLAP ................................................................................ 18 Hình 5: Mô hình dữ liệu ROLAP ................................................................................. 19 Hình 6: Kiến trúc Pentaho BI ....................................................................................... 21 Hình 7: Báo cáo đồ thị.................................................................................................. 23 Hình 8: Phân tích lược đồ............................................................................................. 24 Hình 9: Ứng dụng data warehouse ............................................................................... 25 Hình 10: Công cụ Spoon .............................................................................................. 27 Hình 11: Giao diện đồ họa Spoon ................................................................................ 29 Hình 12: Giao diện thiết kế schema workben .............................................................. 30 Hình 13: Tạo thuộc tính kết nối Cube .......................................................................... 30 Hình 14: Chọn kết nối tới cơ sở dữ liệu ....................................................................... 31 Hình 15: Tạo mới schema cube .................................................................................... 31 Hình 16: Dữ liệu thô các cảnh báo lỗi .......................................................................... 33 Hình 17: Mô hình mối quan hệ giữa các bảng dữ liệu ................................................. 34 Hình 18: Dữ liệu vào từ Oracle .................................................................................... 35 Hình 19: Lựa chọn cơ sở dữ liệu .................................................................................. 36 Hình 20: Lựa chọn kết nối ............................................................................................ 37 Hình 21: Step Combination lookup/update .................................................................. 38 Hình 22: Connection dim_time .................................................................................... 39 Hình 23: Kết nối dim_time........................................................................................... 39 Hình 24: Kiểm tra kết nối tới database ......................................................................... 40 Hình 25: Tạo dim_time ................................................................................................ 41 Hình 26: Hiển thị các bảng dim.................................................................................... 42 Hình 27: Tạo bảng dữ liệu fact_alarm.......................................................................... 43 Hình 28: Hiển thị log.................................................................................................... 44 Hình 29: Tạo một thủ tục ............................................................................................. 45 Hình 30: Dữ liệu sau khi xử lý ..................................................................................... 46 7 Hình 31: Tạo cube ........................................................................................................ 47 Hình 32: Tạo kết nối tới Admintor ............................................................................... 48 Hình 33: Đăng nhập server........................................................................................... 48 Hình 34: Giao diện thiết kế báo cáo ............................................................................. 49 Hình 35: Lựa chọn schema ........................................................................................... 49 Hình 36: Thiết kế biểu đồ............................................................................................. 50 Hình 37: Lựa chọn thước đo ........................................................................................ 50 Hình 38: Lựa chọn chiều thời gian ............................................................................... 51 Hình 39: Lựa chọn thời gian theo năm ......................................................................... 51 Hình 40: Lựa chọn thời gian tháng, ngày, giờ .............................................................. 52 Hình 41: Chỉnh sửa cấu trúc biểu đồ. ........................................................................... 53 Hình 42: Biểu đồ đường thể hiện tổng số lỗi trong năm 2012 ..................................... 53 Hình 43: Biểu đồ cột thể hiện tổng số lỗi trong năm 2012 ........................................... 54 Hình 44: Biểu đồ cột nhiều mầu sắc thể hiện tổng số lỗi trong năm 2012 ................... 55 Hình 45: Bảng dữ liệu về tổng lỗi năm 2012 ............................................................... 55 Hình 46: Xử lý các chiều dữ liệu để phân tích ............................................................. 56 Hình 47: Lựa chọn mức lỗi .......................................................................................... 56 Hình 48: Biểu đồ đường hiển thị mức lỗi ..................................................................... 57 Hình 49: Biểu đồ cột hiển thị mức lỗi .......................................................................... 57 8 BẢNG TỪ VIẾT TẮT OLAP Online Analysis Processing MOLAP Multidimensional Online Analysis Processing ROLAP Relational Online Analysis Processing HOLAP Hybird Online Analysis Processing PDI Pentaho Data Integration 9 LỜI MỞ ĐẦU Cùng với việc áp dụng rộng rãi công nghệ thông tin vào trong hầu hết các lĩnh vực trong đời sống, kinh tế, xã hội đó là việc dữ liệu thu nhận được qua thời gian ngày càng nhiều.Vì vậy, yêu cầu thiết yếu đặt ra đối với các doanh nghiệp đó là việc khai thác các dữ liệu này một các hiệu quả để phục vụ cho việc kinh doanh ngày càng tốt hơn. Khóa luận này với đề tài “Áp dụng kỹ thuật OLAP và kho dữ liệu trong báo cáo viễn thông” giới thiệu về kho dữ liệu, phương pháp OLAP và ứng dụng trong phân tích các cảnh báo lỗi của nhà mạng Vinaphone bằng công cụ Pentaho. Khóa luận gồm bốn chương: Chương 1. Giới thiệu tổng quan hệ thống và lý do chọn đề tài. Giới thiệu kho dữ liệu, tổng quan về OLAP, các mô hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm và nhược điểm của các mô hình. Chương 2. Giới thiệu bộ công cụ Pentaho, tìm hiểu cụ thể một số công cụ Pentaho để xây dựng bài toán thực tế. Chương 3. Giới thiệu bài toán triển khai trên Pentaho và kết quả đạt được triển khai Pentaho trên một bài toán thực. Chương 4. Phần kết luận tổng kết và tóm lược những kết quả, đóng góp chính của khóa luận. 10 Chƣơng 1: Giới thiệu hệ thống và lý do chọn đề tài, tìm hiểu kho dữ liệu, tổng quan về OLAP Tóm lược nội dung : Mục tiêu của chương này nhằm trình bày lý do lựa chọn đề tài, tổng quan về dữ liệu của hệ thống cung cấp các dịch vụ giá trị gia tăng trên điện thoại, mục tiêu và phạm vi của đồ án, công cụ và phương pháp xây dựng kho dữ liệu. 1.1. Hệ thống xử lý lỗi trong thiết bị mạng Vinaphone Tập đoàn viễn thông VNPT là đơn vị đi đầu về lĩnh vực viễn thông của đất nước. Tập đoàn ra đời với một sứ mệnh to lớn là xã hội hóa, phổ cập hóa các dịch vụ thông di động. Dựa trên tiềm lực và chiến lược phát triển đúng đắn của Tập đoàn VNPT, mạng di động VinaPhone được đầu tư và phát triển đi thẳng vào công nghệ hiện đại nhất. Trước sự phát triển công nghệ thông tin viễn thông đó, mạng di động này cũng gặp phải nhiều sự cố, lỗi do các thiết bị phần cứng gây ra cũng như lưu lượng người truy cập quá lớn làm hệ thống quá tải và sinh ra các cảnh báo lỗi. Để có thể biết trước được khả năng phát sinh ra lỗi của thiết bị, nhà mạng cần phải lưu lại dữ liệu phân tích và xử lý để có kế hoạch khắc phục được sự cố trong tương lại. Sau một thời gian dài hoạt động do dữ liệu hệ thống ngày một gia tăng cùng với nhu cầu cao hơn trong phân tích số liệu hệ thống đã không đáp ứng được một số vấn đề sau đây. - Do dữ liệu ngày càng gia tăng vì thế tốc độ xử lý các truy vấn để tạo báo cáo sản lượng chậm. - Tổ chức dữ liệu theo mô hình cơ sở dữ liệu quan hệ khiến cho việc truy vấn dữ liệu không linh hoạt. Với những câu hỏi nghiệp vụ phức tạp việc truy vấn là rất khó khăn và thời gian xử lý chậm. - Dữ liệu dùng cho hệ thống báo cáo sản lượng là dữ liệu nghiệp vụ chưa qua xử lý, còn dư thừa nhiều, không phù hợp với một hệ thống báo cáo và phân tích số liệu Để giải quyết vấn đề này, hệ thống Data warehouse (kho dữ liệu) ra đời cùng với các kỹ thuật OLAP, Data mining (khai phá dữ liệu) để có thể giúp được người quản trị cấp cao trả lời các câu hỏi mà họ yêu cầu. 11 1.2. Kho dữ liệu (Data warehouse) 1.2.1. Kho dữ liệu Data warehouse - kho dữ liệu là một tập hợp thông tin cơ bản trên máy vi tính mà chúng có tính quyết định đến việc thực hiện thành công bước đầu trong công việc kinh doanh[1]. Một kho dữ liệu, gọi một cách chính xác hơn là kho thông tin (information warehouse), là một cơ sở dữ liệu hướng đối tượng được thiết kế với việc tiếp cận các ý kiến trong mọi lĩnh vực kinh doanh. Nó cung cấp các công cụ để đáp ứng thông tin cần thiết cho các nhà quản trị kinh doanh tại mọi cấp độ tổ chức - không những chỉ là những yêu cầu dữ liệu phức hợp, mà còn là điều kiện thuận tiện nhất để đạt được việc lấy thông tin nhanh, chính xác. Một kho dữ liệu được thiết kế để người sử dụng có thể nhận ra thông tin mà họ muốn có và truy cập đến bằng những công cụ đơn giản[9]. Một kho dữ liệu là một sự pha trộn của nhiều công nghệ, bao gồm các cơ sở dữ liệu đa chiều và mối quan hệ giữa chúng, kiến trúc chủ khách, giao diện người dùng đồ họa và nhiều nữa. Dữ liệu trong kho dữ liệu không giống dữ liệu của hệ điều hành là loại chỉ có thể đọc nhưng không chỉnh sửa được. Hệ điều hành tạo ra, chỉnh sửa và xóa những dữ liệu sản xuất mà những dữ liệu này cung cấp cho kho dữ liệu. Nguyên nhân chính cho sự phát triển một kho dữ liệu là hoạt động tích hợp dữ liệu từ nhiền nguồn khác nhau vào một kho dữ liệu đơn lẻ và dày đặc mà kho này cung cấp cho việc phân tích và ra quyết định trong công việc kinh doanh. 1.2.2. Đặc tính kho dữ liệu Hƣớng chủ đề: Kho dữ liệu có thể chứa lượng dữ liệu lên tới hàng trăm Gigabyte, được tổ chức theo những chủ đề chính. Kho dữ liệu không chú trọng vào giao tác và việc xử lý giao tác. Thay vào đó, kho dữ liệu tập trung vào việc mô hình hóa, phân tích dữ liệu nhằm hỗ trợ cho nhà quản lý ra quyết định. Do đó, các kho dữ liệu thường cung cấp một khung nhìn tương đối đơn giản bằng cách loại bớt những dữ liệu không cần thiết trong quá trình ra quyết định. Tính tích hợp: Kho dữ liệu thường được xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau, ví dụ các cơ sở dữ liệu, những bản ghi giao tác trực tuyến hoặc thậm chí là từ những file dữ liệu độc lập. Những dữ liệu này tiếp tục được làm sạch, chuẩn hóa để đảm bảo sự nhất quán, sau đó đưa vào kho dữ liệu. 12 Ổn định: Dữ liệu trong kho dữ liệu thường được lưu trữ lâu dài, ít bị sửa đổi, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao. Hai thao tác chủ yếu tác động tới kho dữ liệu là nhập dữ liệu vào và truy xuất. Dữ liệu gắn với thời gian: Do có tính ổn định, kho dữ liệu thường lưu trữ dữ liệu của hệ thống trong khoảng thời gian dài, cung cấp đủ số liệu cho các mô hình nghiệp vụ, dự báo, khảo sát những chỉ tiêu cần quan tâm. 1.2.3. Ích lợi của kho dữ liệu Tạo ra những quyết định có ảnh hưởng lớn. Một kho dữ liệu cho phép trích rút tài nguyên nhân lực và máy tính theo yêu cầu để cung cấp các câu truy vấn và các báo cáo dựa vào cơ sở dữ liệu hoạt động và sản xuất. Điều này tạo ra sự tiết kiệm đáng kể. Có kho dữ liệu cũng trích rút tài nguyên khan hiếm của hệ thống sản xuất khi thực thi một chương trình quá lâu hoặc các báo cáo và các câu truy vấn phức hợp. Công việc kinh doanh trở nên thông minh hơn. Tăng thêm chất lượng và tính linh hoạt của việc phân tích kinh doanh do phát sinh từ cấu trúc dữ liệu đa tầng của kho dữ liệu, đó là nơi cung cấp dữ liệu được sắp xếp từ mức độ chi tiết của công việc kinh doanh cho đến mức độ cao hơn - mức độ tổng quát. Đảm bảo được dữ liệu chính xác và đáng tin cậy do đảm bảo được là trong kho dữ liệu chỉ chứa duy nhất dữ liệu có chất lượng cao và ổn định (trusted Data). Dịch vụ khách hàng được nâng cao. Một doanh nghiệp có thể giữ gìn mối quan hệ với khách hàng tốt hơn do có mối tương quan với dữ liệu của tất cả khách hàng qua một kho dữ liệu riêng. Tái sáng tạo những tiến trình kinh doanh. Sự cho phép phân tích không ngừng thông tin kinh doanh thường cung cấp sự hiểu biết mọi mặt của phương thức kinh doanh do đó có thể làm nảy sinh ra những ý kiến cho sự sáng tạo ra những tiến trình này lại. C