Đồ án Tìm hiểu giao thức SNMP và phần mềm giám sát hệ thống mạng Colasoft Capsa 7

Đà Nẵng, 03/2011 BÁO CÁO ĐỒ ÁN MÔN HỌC QUẢN LÝ HỆ THỐNG MẠNG Đề tài: Tìm hiểu giao thức SNMP và phần mềm giám sát hệ thống mạng Colasoft Capsa 7 Giảng viên hướng dẫn : ThS Lê Tự Thanh Lớp : MM02A – Nhóm 9 Sinh viên thực hiện - Nguyễn Thanh Long - Nguyễn Khắc Vũ LỜI NÓI ĐẦU Thế giới ngày nay đã có nhiều tiến bộ mạnh mẽ về công nghệ thông tin (CNTT) từ một tiềm năng thông tin đã trở thành một tài nguyên thực sự, trở thành sản phẩm hàng hoá trong xã hội tạo ra một sự thay đổi to lớn trong lực lượng sản xuất, cơ sở hạ tầng, cấu trúc kinh tế, tính chất lao động và cả cách thức quản lý trong các lĩnh vực của xã hội. Trong những năm gần đây, nền CNTT nước ta cũng đã có phát triển trên mọi lĩnh vực trong cuộc sống cũng như trong lĩnh vực quản lý xã hội khác. Với trình độ phát triển như vậy việc ứng dụng CNTT vào các công việc hằng ngày được xem như là điều bắt buộc tại. Tuy nhiên với việc phát triển một mạng lưới máy tính nhanh như vậy đã gây ra những khó khăn nhất định trong việc quản lý các hệ thống mạng này. Công việc quản lý hệ thống mạng có những yêu cầu đặt ra là làm sao để có thể tận dụng tối đa các tài nguyên có trong hệ thống và tăng độ tin cậy đối với hệ thống. Do đó, vấn đề quản trị mạng hiện nay là không thể thiếu được. Trong đó quản trị mạng theo giao thức SNMP là phương pháp được sử dụng rộng rãi nhất. Với những nhu cầu thiết thự như vậy, và để hiểu rõ hơn sự quan trọng của việc quản lý hệ thống mạng nhóm 9 – lớp MM02A đã tiến hành tìm hiểu về giao thức SNMP và tổ chức triển khai quản lý thử hệ thống mạng với phần mềm Colasoft Capsa 7. Nội dung của đồ án bao gồm 2phần chính Chương1: Tổng quan về quản lý hệ thống mạng Chương 2: Giám sát hệ thống mạng với phần mềm Colasoft Capsa 7 Cuối cùng, em xin chân thành cảm ơn thầy Lê Tự Thanh tạo mọi điều kiện, giúp đỡ nhóm có đủ khả năng để hoàn thành đồ án. MỤC LỤC TỔNG QUAN VỀ QUẢN LÝ HỆ THỐNG MẠNG GIỚI THIỆU CHUNG VỀ QUẢN LÝ HỆ THỐNG MẠNG Sự phát triển và hội tụ mạng trong những năm gần đây đã tác động mạnh mẽ tới tất cả các khía cạnh của mạng lưới, thậm chí cả về những nhận thức nền tảng và phương pháp tiếp cận Quản lý mạng cũng là một trong những lĩnh vực đang có những sự thay đổi và hoàn thiện mạnh mẽ trong cả nỗ lực tiêu chuẩn hoá của các tổ chức tiêu chuẩn lớn trên thế giới và yêu cầu từ phía người sử dụng dịch vụ. Mặt khác các nhà khai thác mạng, nhà cung cấp thiết bị và người sử dụng thường áp dụng các phương pháp chiến lược khác nhau cho việc quản lý mạng và thiết bị của mình. Mỗi nhà cung cấp thiết bị thường đưa ra giải pháp quản lý mạng riêng cho sản phẩm của mình. Trong bối cảnh hội tụ mạng hiện nay, số lượng thiết bị và dịch vụ rất đa dạng và phức tạp đã tạo ra các thách thức lớn trong vấn đề quản lý mạng. Nhiệm vụ của quản lý mạng rất rõ ràng về mặt nguyên tắc chung, nhưng các bài toán quản lý cụ thể lại có độ phức tạp rất lớn. Điều này xuất phát từ tính đa dạng của các hệ thống thiết bị và các đặc tính quản lý của các loại thiết bị, và xa hơn nữa là chiến lược quản lý phải phù hợp với kiến trúc mạng và đáp ứng yêu cầu của người sử dụng. Một loạt các thiết bị điển hình cần được quản lý gồm: Máy tính cá nhân, máy trạm, server, máy vi tính cỡ nhỏ, máy vi tính cỡ lớn, các thiết bị đầu cuối, thiết bị đo kiểm, máy điện thoại, tổng đài điện thoại nội bộ, các thiết bị truyền hình, máy quay, modem, bộ ghép kênh, bộ chuyển đổi giao thức, CSU/DSU, bộ ghép kênh thống kê, bộ ghép và giải gói, thiết bị tương thích ISDN, card NIC, các bộ mã hoá và giải mã tín hiệu, thiết bị nén dữ liệu, các gateway, các bộ xử lý front-end, các đường trung kế, DSC/DAC, các bộ lặp, bộ tái tạo tín hiệu, các thiết bị chuyển mạch, các bridge, router và switch, tất cả mới chỉ là một phần của danh sách các thiết bị sẽ phải được quản lý. Toàn cảnh của bức tranh quản lý phải bao gồm quản lý các tài nguyên mạng cũng như các tài nguyên dịch vụ, người sử dụng, các ứng dụng hệ thống, các cơ sở dữ liệu khác nhau trong các loại môi trường ứng dụng. Về mặt kĩ thuật, tất cả thông tin trên được thu thập, trao đổi và được kết hợp với hoạt động quản lý mạng dưới dạng các số liệu quản lý bởi các kĩ thuật tương tự như các kĩ thuật sử dụng trong mạng truyền số liệu. Tuy nhiên sự khác nhau căn bản giữa truyền thông số liệu và trao đổi thông tin quản lý là việc trao đổi thông tin quản lý đòi hỏi các trường dữ liệu chuyên biệt, các giao thức truyền thông cũng như các mô hình thông tin chuyên biệt, các kỹ năng chuyên biệt để có thể thiết kế, vận hành hệ thống quản lý cũng như biên dịch các thông tin quản lý về báo lỗi, hiện trạng hệ thống, cấu hình và độ bảo mật. CÁC YÊU CẦU QUẢN LÝ HỆ THỐNG MẠNG Các cơ chế quản lý mạng được nhìn nhận từ hai góc độ, góc độ mạng chỉ ra hệ thống quản lý nằm tại các mức cao của mô hình OSI và từ phía người điều hành quản lý hệ thống mạng. Mặc dù cá rất nhiều quan điểm khác nhau về mô hình quản lý hệ thống nhưng đều thống nhất bởi ba chức năng quản lý cơ bản gồm: giám sát, điều khiển và đưa ra báo cáo tới người điều hành. + Chức năng giám sát có nhiệm vụ thu thập liên tục các thông tin về trạng thái của các tài nguyên được quản lý sau đó chuyển các thông tin này dưới dạng các sự kiện và đưa ra các cảnh báo khi các tham số của tài nguyên mạng được quản lý vượt quá ngưỡng cho phép. + Chức năng quản lý có nhiệm vụ thực hiện các yêu cầu của người quản lý hoặc các ứng dụng quản lý nhằm thay đổi trạng thái hay cấu hình của một tài nguyên được quản lý nào đó. + Chức năng đưa ra báo cáo có nhiệm vụ chuyển đổi và hiển thị các báo cáo dưới dạng mà người quản lí có thể đọc, đánh giá hoặc tìm kiếm, tra cứu thông tin được báo cáo. Dưới góc độ của người điều hành quản lý mạng, một số yêu cầu cơ bản thường được đặt ra gồm: + Khả năng giám sát và điều khiển mạng cũng như các thành phần của hệ thống thiết bị từ đầu cuối đến đầu cuối. + Có thể truy nhập và cấu hình lại từ xa các tài nguyên được quản lý. + Dễ dàng trong việc cài đặt, vận hành và bảo dưỡng hệ thống quản lý cũng như các ứng dụng của nó. + Bảo mật hoạt động quản lý và truy nhập của người sử dụng, bảo mật truyền thông các thông tin quản lý. + Có khả năng đưa ra các báo cáo đầy đủ và rõ nghĩa về các thông tin quản lý. + Quản lý theo thời gian thực và hoạt động quản lý hàng ngày được thực hiện một cách tự động. + Mềm dẻo trong việc nâng cấp hệ thống và có khả năng tương thích với nhiều công nghệ khác nhau. + Có khả năng lưu trữ và khôi phục các thông tin quản lý. KIẾN TRÚC QUẢN LÝ MẠNG Kiến trúc quản lý mạng Quản lý mạng gồm một tập các chức năng để điều khiển, lập kế hoạch, liên kết, triển khai và giám sát tài nguyên mạng. Quản lý mạng có thể được nhìn nhận như một cấu trúc gồm nhiều lớp: + Quản lý kinh doanh: Quản lý khía cạnh kinh doanh của mạng ví dụ như: ngân sách/ tài nguyên, kế hoạch và các thỏa thuận. + Quản lý dịch vụ: Quản lý các dịch vụ cung cấp cho người sử dụng, ví dụ các dịch vụ cung cấp bao gồm việc quản lý băng thông truy nhập, lưu trữ dữ liệu và các ứng dụng cung cấp. + Quản lý mạng: Quản lý toàn bộ thiết bị mạng trong mạng. + Quản lý phần tử: Quản lý một tập hợp thiết bị mạng, ví dụ các bộ định tuyến truy nhập hoặc các hệ thống quản lý thuê bao. + Quản lý phần tử mạng: Quản lý từng thiết bị đơn trong mạng, ví dụ bộ định tuyến, chuyển mạch, Hub. Quản lý mạng có thể chia thành hai chức năng cơ sở: truyền tải thông tin quản lý qua hệ thống và quản lý các phần tử thông tin quản lý mạng. Các chức năng này gồm các nhiệm vụ khác nhau như: Giám sát, cấu hình, sửa lỗi và lập kế hoạch được thực hiện bởi nhà quản trị hoặc nhân viên quản lý mạng. Cơ chế quản lý mạng Cơ chế quản lý mạng bao gồm cả các giao thức quản lý mạng, các giao thức quản lý mạng cung cấp các cơ chế thu thập, thay đổi và truyền các dữ liệu quản lý mạng qua mạng. Các cơ chế giám sát nhằm để xác định các đặc tính của thiết bị mạng, tiến trình giám sát bao gồm thu thập được và lưu trữ các tập con của dữ liệu đó. Dữ liệu thường được thu thập thông qua polling hoặc tiến trình giám sát gồm các giao thức quản lýmạng. Xử lý dữ liệu sau quá trình thu thập thông tin quản lý mạng là bước loại bỏ bớt các thông tin dữ liệu không cần thiết đối với từng nhiệm vụ quản lý. Sự thể hiện các thông tin quản lý cho người quản lý cho phép người quản lý nắm bắt hiệu quả nhất các tính năng và đặc tính mạng cần quản lý. Một số kĩ thuật biểu diễn dữ liệu thường được sử dụng dưới dạng ký tự, đồ thị hoặc lưu đồ (tĩnh hoặc động). Tại thời điểm xử lý thông tin dữ liệu, rất nhiều các thông tin chưa kịp xử lý được lưu trữ tại các vùng nhớ lưu trữ khác nhau. Các cơ chế dự phòng và cập nhật lưu trữ luôn được xác định trước trong các cơ chế quản lý mạng nhằm tránh tối đa tổn thất dữ liệu. Các phân tích thời gian thực luôn yêu cầu thời gian hỏi đáp tới các thiết bị quản lý trong khoảng thời gian ngắn. Đây là điều kiện đánh đổi giữa số lượng đặc tính và thiết bị mạng với lượng tài nguyên (khả năng tính toán, số lượng thiết bị tính toán, bộ nhớ, lưu trữ) cần thiết để hỗ trợ các phân tích. Thực hiện nhiệm vụ cấu hình chính là cài đặt các tham số trong một thiết bị mạng để điều hành và điều khiển các phần tử. Các cơ chế cấu hình bao gồm truy nhập trực tiếp tới các thiết bị, truy nhập từ xa và lấy các file cấu hình từ các thiết bị đó. Dữ liệu cấu hình được thông qua các cách sau: + Các câu lệnh SET của SNMP + Truy nhập qua telnet và giao diện dòng lệnh + Truy nhập qua HTTP + Truy nhập qua kiến trúc CORBA + Sử dụng FTP/TFTP để lấy file cấu hình TỔNG QUAN VỀ GIAO THỨC SNMP Các bài toán giám sát các thiết bị và ứng dụng trong hệ thống mạng Để dễ hiểu về giao thức SNMP, ở phạm vi đồ án xin đề ra 3 bài toán thuộc dạng phổ biến trong các ứng dụng của SNMP. Bài toán thứ 1: Giám sát tài nguyên máy chủ. + Giả sử chúng ta có hàng ngàn máy chủ chạy các hệ điều hành (HĐH) khác nhau. Làm thế nào có thể giám sát tài nguyên của tất cả máy chủ hàng giờ, để kịp thời phát hiện các máy chủ sắp bị quá tải. Giám sát tài nguyên máy chủ nghĩa là theo dõi tỷ lệ chiếm dụng CPU, dung lượng còn lại của ổ cứng, tỷ lệ sử dụng bộ nhớ RAM, …. + Chúng ta không thể kết nối vào từng máy để xem vì số lượng máy nhiều và vì các HĐH khác nhau có cách thức kiểm tra khác nhau. + Để giải quyết vấn đề này người quản trị hệ thống có thể dùng một ứng dụng SNMP giám sát được máy chủ, nó sẽ lấy được thông tin từ nhiều HĐH khác nhau. Bài toán thứ 2: Giám sát lưu lượng trên các port của switch, router. + Hệ thống mạng có hàng ngàn thiết bị mạng của nhiều hãng khác nhau, mỗi thiết bị có nhiều port. Làm thế nào để giám sát lưu lượng đang truyền qua tất cả các port của các thiết bị suốt 24/24, kịp thời phát hiện các port sắp quá tải ? + Chúng ta cũng không thể kết nối vào từng thiết bị để gõ lệnh lấy thông tin vì thiết bị của các hãng khác nhau có lệnh khác nhau. + Để giải quyết vấn đề này người quản trị có thể dùng một ứng dụng SNMP giám sát lưu lượng, nó sẽ lấy được thông tin lưu lượng đang truyền qua các thiết bị của nhiều hãng khác nhau. Bài toán thứ ba : Hệ thống tự động cảnh báo sự cố tức thời + Hệ thống có hàng ngàn thiết bị mạng và chúng có thể gặp nhiều vấn đề trong quá trình hoạt động như: một port nào đó bị mất tín hiệu (port down), có ai đó đã cố kết nối (login) vào thiết bị nhưng nhập sai username và password, thiết bị vừa mới bị khởi động lại (restart), …. Làm thế nào để người quản trị biết được sự kiện khi nó vừa mới xảy ra. + Để giải quyết bài toán này người quản trị có thể dùng ứng dụng thu thập sự kiện (event) và cảnh báo (warning) bằng SNMP, nó sẽ nhận cảnh báo từ tất cả các thiết bị và hiện nó lên màn hình hoặc gửi email cho người quản trị. Hai phương thức giám sát Poll và Alert Hai phương thức giám sát “Poll” và “Alert”, đây là 2 phương thức cơ bản của các kỹ thuật giám sát hệ thống, nhiều phần mềm và giao thức được xây dựng dựa trên 2 phương thức này, trong đó có SNMP. Việc hiểu rõ hoạt động của Poll & Alert và ưu nhược điểm của chúng sẽ giúp chúng ta dễ dàng tìm hiểu nguyên tắc hoạt động của các giao thức hay phần mềm giám sát khác. Phương thức Poll Nguyên tắc hoạt động: Trung tâm giám sát (manager) sẽ thường xuyên hỏi thông tin của thiết bị cần giám sát (device). Nếu Manager không hỏi thì Device không trả lời, nếu Manager hỏi thì Device phải trả lời. Bằng cách hỏi thường xuyên, Manager sẽ luôn cập nhật được thông tin mới nhất từ Device. Hình 1.1 - Hình minh họa cơ chế Poll Phương thức Alert Nguyên tắc hoạt động : Mỗi khi trong Device xảy ra một sự kiện (event) nào đó thì Device sẽ tự động gửi thông báo cho Manager, gọi là Alert. Manager không hỏi thông tin định kỳ từ Device. Device chỉ gửi những thông báo mang tính sự kiện chứ không gửi những thông tin thường xuyên thay đổi, nó cũng sẽ không gửi Alert nếu chẳng có sự kiện gì xảy ra. Chẳng hạn khi một port down/up thì Device sẽ gửi cảnh báo, còn tổng số byte truyền qua port đó sẽ không được Device gửi đi vì đó là thông tin thường xuyên thay đổi. Muốn lấy những thông tin thường xuyên thay đổi thì Manager phải chủ động đi hỏi Device, tức là phải thực hiện phương thức Poll. HÌnh 1.2- Hình minh họa cơ chế Alert So sánh phương thức Poll và Alert Hai phương thức Poll và Alert là hoàn toàn khác nhau về cơ chế. Một ứng dụng giám sát có thể sử dụng Poll hoặc Alert, hoặc cả hai, tùy vào yêu cầu cụ thể trong thực tế. Bảng sau so sánh những điểm khác biệt của 2 phương thức : POLL ALERT Có thể chủ động lấy những thông tin cần thiết từ các đối tượng mình quan tâm, không cần lấy những thông tin không cần thiết từ những nguồn không quan tâm. Tất cả những event xảy ra đều được gửi về Manager. Manager phải có cơ chế lọc những event cần thiết, hoặc Device phải thiết lập được cơ chế chỉ gửi những event cần thiết. Có thể lập bảng trạng thái tất cả các thông tin của Device sau khi poll qua một lượt các thông tin đó. Nếu không có event gì xảy ra thì Manager không biết được trạng thái của Device. Trong trường hợp đường truyền giữa Manager và Device xảy ra gián đoạn và Device có sự thay đổi, thì Manager sẽ không thể cập nhật. Tuy nhiên khi đường truyền thông suốt trở lại thì Manager sẽ cập nhật được thông tin mới nhất do nó luôn luôn poll định kỳ. Khi đường truyền gián đoạn và Device có sự thay đổi thì nó vẫn gửi Alert cho Manager, nhưng Alert này sẽ không thể đến được Manager. Sau đó mặc dù đường truyền có thông suốt trở lại thì Manager vẫn không thể biết được những gì đã xảy ra. Chỉ cần cài đặt tại Manager để trỏ đến tất cả các Device. Có thể dễ dàng thay đổi một Manager khác. Phải cài đặt tại từng Device để trỏ đến Manager. Khi thay đổi Manager thì phải cài đặt lại trên tất cả Device để trỏ về Manager mới. Nếu tần suất poll thấp, thời gian chờ giữa 2 chu kỳ poll (polling interval) dài sẽ làm Manager chậm cập nhật các thay đổi của Device. Nghĩa là nếu thông tin Device đã thay đổi nhưng vẫn chưa đến lượt poll kế tiếp thì Manager vẫn giữ những thông tin cũ. Ngay khi có sự kiện xảy ra thì Device sẽ gửi Alert đến Manager, do đó Manager luôn luôn có thông tin mới nhất tức thời. Có thể bỏ sót các sự kiện : khi Device có thay đổi, sau đó thay đổi trở lại như ban đầu trước khi đến lượt poll kế tiếp thì Manager sẽ không phát hiện được. Manager sẽ được thông báo mỗi khi có sự kiện xảy ra ở Device, do đó Manager không bỏ sót bất kỳ sự kiện nào. Giới thiệu giao thức SNMP SNMP là “giao thức quản lý mạng đơn giản”, như vậy thế nào là giao thức quản lý mạng đơn giản. Giao thức là một tập hợp các thủ tục mà các bên tham gia cần tuân theo để có thể giao tiếp được với nhau. Trong lĩnh vực thông tin, một giao thức quy định cấu trúc, định dạng (format) của dòng dữ liệu trao đổi với nhau và quy định trình tự, thủ tục để trao đổi dòng dữ liệu đó. Nếu một bên tham gia gửi dữ liệu không đúng định dạng hoặc không theo trình tự thì các bên khác sẽ không hiểu hoặc từ chối trao đổi thông tin. SNMP là một giao thức, do đó nó có những quy định riêng mà các thành phần trong mạng phải tuân theo. Một thiết bị hiểu được và hoạt động tuân theo giao thức SNMP được gọi là “có hỗ trợ SNMP” (SNMP supported) hoặc “tương thích SNMP” (SNMP compartible). SNMP dùng để quản lý, nghĩa là có thể theo dõi, có thể lấy thông tin, có thể được thông báo, và có thể tác động để hệ thống hoạt động như ý muốn. VD một số khả năng của phần mềm SNMP : + Theo dõi tốc độ đường truyền của một router, biết được tổng số byte đã truyền/nhận. + Lấy thông tin máy chủ đang có bao nhiêu ổ cứng, mỗi ổ cứng còn trống bao nhiêu. + Tự động nhận cảnh báo khi switch có một port bị down. + Điều khiển tắt (shutdown) các port trên switch. SNMP dùng để quản lý mạng, nghĩa là nó được thiết kế để chạy trên nền TCP/IP và quản lý các thiết bị có nối mạng TCP/IP. Các thiết bị mạng không nhất thiết phải là máy tính mà có thể là switch, router, firewall, adsl gateway, và cả một số phần mềm cho phép quản trị bằng SNMP. SNMP là giao thức đơn giản, do nó được thiết kế đơn giản trong cấu trúc bản tin và thủ tục hoạt động, và còn đơn giản trong bảo mật (ngoại trừ SNMP version 3). Sử dụng phần mềm SNMP, người quản trị mạng có thể quản lý, giám sát tập trung từ xa toàn mạng của mình. Ưu điểm của thiết kế SNMP SNMP được thiết kế để đơn giản hóa quá trình quản lý các thành phần trong mạng. Nhờ đó các phần mềm SNMP có thể được phát triển nhanh và tốn ít chi phí (trong chương 5 tác giả sẽ trình bày cách xây dựng phần mềm giám sát SNMP, bạn sẽ thấy tính đơn giản của nó). SNMP được thiết kế để có thể mở rộng các chức năng quản lý, giám sát. Không có giới hạn rằng SNMP có thể quản lý được cái gì. Khi có một thiết bị mới với các thuộc tính, tính năng mới thì người ta có thể thiết kế “custom” SNMP để phục vụ cho riêng mình (trong chương 3 tác giả sẽ trình bày file cấu trúc dữ liệu của SNMP). SNMP được thiết kế để có thể hoạt động độc lập với các kiến trúc và cơ chế của các thiết bị hỗ trợ SNMP. Các thiết bị khác nhau có hoạt động khác nhau nhưng đáp ứng SNMP là giống nhau. Các phiên bản của SNMP SNMP có 4 phiên bản : SNMPv1, SNMPv2c, SNMPv2u và SNMPv3. Các phiên bản này khác nhau một chút ở định dạng bản tin và phương thức hoạt động. Hiện tại SNMPv1 là phổ biến nhất do có nhiều thiết bị tương thích nhất và có nhiều phần mềm hỗ trợ nhất. Trong khi đó chỉ có một số thiết bị và phần mềm hỗ trợ SNMPv3. Do đó trong 3 chương đầu của tài liệu này tác giả sẽ trình bày các vấn đề theo chuẩn SNMPv1. Các phiên bản của SNMP sẽ được trình bày kỹ trong phần sau. Các thành phần chính của giao thức SNMP Trong SNMP có 3 vấn đề cần quan tâm: Manager, Agent và MIB (Management Information Base). MIB là cơ sở dữ liệu dùng phục vụ cho Management và Agent. Management là một server có chạy các chương trình có thể thực hiện một số chức năng quản lý mạng. Management có thể xem như là NMS (Network Manager Stations). NMS có khả năng thăm dò và thu thập các cảnh báo từ các Agent trong mạng. Các cảnh báo của Agent là cách mà Agent báo với NMS khi có sự cố xảy ra . Cảnh báo của Agent được gửi một cách không đồng bộ, không nằm trong việc trả lời truy vấn của NMS. MNS dựa trên nề các thông tin trả lời của Agent để có các phương án giúp mạng hoạt động hiểu quả hơn . Agent là một phần trong các chương trình chạy trên các thiết bị mạng cần quản lý. Nó có thể là một chương trình độc lập, hoặc được tích hợp vào hệ điều hành như IOS của Cisco trên Router. Ngày nay, đa số các thiết bị mạng hoạt động tới lớp IP được cài đặt SNMP agent. Các nhà sản xuất ngày càng muốn phát triển các agent trong các sản phẩm của họ, công việc của ng