Xây dựng và cài đặt cụ thể một ứng dụng trong mô hỡnh hội nghị tương tác trên mạng cục bộ dựa trên ngôn ngữ Java và thư viện lập trỡnh JMF (Java Media Framework)

Lời giới thiệu Trong những năm gần đây, ngành công nghiệp máy tính đã đạt được những tiến bộ đáng kể trong việc tích hợp khả năng đa phương tiện vào môi trường máy chủ (server) và máy tính để bàn (desktop). Các thiết bị phần cứng đa phương tiện như CPU với tập lệnh hỗ trợ đa phương tiện, sourd-card, phần cứng số hoá video và camera số… ngày càng trở nên mạnh mẽ hơn để có thể đáp ứng các công việc xử lí phức tạp ngay trên máy tính để bàn mà trước đó chỉ có thể thực hiện trên các máy tính lớn. Cùng với đó, ngành công nghiệp truyền thông cũng không ngừng phát triển, từ các mạng dial-up qua modem, ISDN tới các mạng tốc độ cao như ATM, Gigabit Ethernet giúp giải quyết dần dần yêu cầu về băng thông, một trong những vấn đề rất quan trọng đối với các ứng dụng truyền thông đa phương tiện do dung lượng lớn của nó. Hai yếu tố này kết hợp với nhau đã thúc đẩy sự ra đời và phổ biến của các ứng dụng cho phép chia sẻ, trao đổi dữ liệu đa phương tiện như văn bản (text), hình ảnh động (animation), đồ hoạ (graphic), ảnh tĩnh (image), âm thanh và video. Trong số đó, ứng dụng phổ biến nhất là hội nghị đa phương tiện (multimedia teleconferencing). Hội nghị đa phương tiện cho phép người dùng ở các vị trí địa lí khác nhau có thể tổ chức hội thảo, tranh luận thông qua việc gửi và nhận các dòng dữ liệu đa phương tiện qua mạng. Các dạng khác của mô hình hội nghị đa phương tiện bao gồm: hội nghị video (video-conference), đào tạo từ xa (teleteaching), trình diễn từ xa (telepresentation), biểu diễn từ xa (tele-musical rehearsal), điện thoại video (video phone) và chat tiếng (audio chat). Có thể nhận thấy rõ rằng, khi chỉ truyền một loại dữ liệu như video hoặc audio, đồng bộ không phải là vấn đề lớn. Tuy nhiên, khi nhiều nguồn dữ liệu phương tiện được chơi hoặc truyền theo thời gian thực tại cùng một thời điểm thì bắt buộc phải có các kĩ thuật để đảm bảo mối quan hệ về thời gian giữa các luồng phương tiện đó, hay nói cách khác phải đảm bảo cho các thành phần đa phương tiện là đồng bộ với nhau. Mục tiêu của luận văn là nghiên cứu mô hình hội nghị đa phương tiện, trong đó đi sâu vào hội nghị video, các yêu cầu đồng bộ trong ứng dụng tương tác thời gian thực đồng thời đề xuất một số phương pháp đồng bô cơ bản. Luận văn được tổ chức như sau: Chương 1: Giới thiệu chung về mô hình hội nghị đa phương tiện và ứng dụng cúa nó trong hệ đào tạo điện tử. Chương 2: Đề cập đến các vấn đề liên quan đến đồng bộ đa phương tiện như tìm hiểu các kiểu dữ liệu đa phương tiện, các nguyên nhân gây mất đồng bộ, khả năng cảm nhận của con người đối với các lỗi đồng bộ và chất lương dịch vụ trong truyền thông đa phương tiện … Chương 3: Trong chương này ta sẽ đề xuất ba phương pháp đồng bộ cụ thể bao gồm thuật toán đồng bộ dựa trên việc xây dựng thời gian tham chiếu tuyệt đối, thuật toán đồng bộ thích nghi và khôi phục đồng bộ bằng ước lượng các khung hình bị mất sử dụng nội suy bậc hai. Chương 4: Chương này tập trung vào việc phân tích, xây dựng mô hình hội nghị tương tác audio-video trực tuyến thời gian thực và ứng dụng cho lớp học tương tác. Chương 5: Trình bày việc xây dựng và cài đặt cụ thể một ứng dụng trong mô hình hội nghị tương tác trên mạng cục bộ dựa trên ngôn ngữ Java và thư viện lập trình JMF (Java Media Framework). Mục lục Chương 1 Mô hình hội nghị đa phương tiện và ứng dụng trong hệ đào tạo điện tử Tổng quan về hội nghị đa phương tiện Trong các nhóm làm việc, tương tác như trong các hội nghị, lớp học…luôn đòi hỏi có quá trình truyền thông giữa các thành viên để phối hợp hoạt động, phối hợp giải quyết vấn đề, lập kế hoạch chung hoặc trao đổi thông tin trạng thái… Với sự ra đời của máy fax và thư điện tử, việc phối hợp hoạt động bất đồng bộ giữa các thành viên không cùng vị trí địa lí đã được cải thiện một cách đáng kể. Tuy nhiên, phương tiện chủ yếu để các thành viên có thể tương tác đồng thời vẫn là các cuộc gọi điện thoại hoặc gặp gỡ trực tiếp (face to face). Việc lựa chọn phương thức cho tương tác đồng thời trong những tình huống cụ thể phụ thuộc vào a) chủ đề đang được thảo luận và b) khả năng tận dụng các phương tiện đã có trong tình huống đó Trong hầu hết các trường hợp, sự cộng tác giữa các thành viên tốt nhất là thông qua tương tác trực tiếp (face to face interaction). Điều này là thực sự cần thiết nếu chủ đề thảo luận là phức tạp và đòi hỏi một số minh hoạ trực quan, hoặc trong trường hợp nhất thiết phải có sự hiện diện của một cá nhân nào đó… Các cuộc thoại (phone call) rất hay được sử dụng trong việc thảo luận các công việc thường ngày hoặc cập nhật thông tin vì sự nhanh chóng và tiện lợi của nó. Tuy nhiên, việc gặp gỡ trực tiếp vẫn là giải pháp tốt hơn ngay cả trong những trường hợp này. Rõ ràng là trong một số trường hợp, việc giao tiếp chỉ bằng thoại là không đủ. Nhưng việc tổ chức một hội nghị thật sự (physical conference) là rất tốn kém về mặt thời gian và tiền bạc đồng thời bắt buộc phải có một sự di chuyển vật lí nào đó của các thành viên để có thể tham gia hội nghị như đi tới một toà nhà khác, đến thành phố khác, đất nước khác…Trong khi có một số loại hội nghị (như bắt đầu đàm phán hợp đồng, phỏng vấn nhân sự …) thì việc gặp gỡ trực tiếp là không thể tránh khỏi và phải chấp nhận chi phí của nó thì một số loại hội nghị khác có thể được thay thế bằng công nghệ hội nghị từ xa (teleconference). Người ta tính được rằng có từ 10 đến 90 % các cuộc hội nghị là có thể thay thế bời hội nghị từ xa. Tóm lại, có thể thấy rằng mục đích, ý tưởng chủ yếu của hội thảo từ xa là nó cho phép các thành viên trong một nhóm có thể trao đổi, gặp gỡ nhau mà không cần phải di chuyển đến một địa điểm chung nào đó. Thay vì vậy, các kênh truyền thông sẽ cung cấp cho các thành viên nhiều công cụ, phương tiện để có thể tương tác với nhau (bằng âm thanh, cử chỉ…) Kiến trúc phần cứng Mọi cuộc hội nghị đều có từ hai thành viên tham gia trở lên. Trong hội nghị đa phương tiện, mỗi thành viên tham gia ở các vị trí địa lí khác nhau do đó có thể có yêu cầu về trang thiết bị và khả năng tài chính khác nhau. Chính điều này tạo nên sự đa dạng trong phần cứng của hệ thống hội nghị từ xa. Ngoài ra, việc thiết kế kiến trúc phần cứng cũng phải tính đến sự phát triển của các công nghệ mới, sự ra đời của các thiết bị với hiệu năng cao hơn. Mặc dù vậy, các thành phần phần cứng cơ bản của một hệ thống hội nghị đa phương tiện có thể được chỉ ra trong hình vẽ dưới đây. Giải mã Audio Thu nhận và hiển thị Các thiết bị đầu vào khác Hiển thị và giải nén Camera Thu nhận và hiển thị Comm Comm LAN, WAN Giải mã Audio Speaker Microphon Máy tính Hiển thị và giải nén Camera Máy tính Các thiết bị đầu vào khác Speaker Microphon Hình 1.1: Các thành phần của hệ thống hội thảo đa phương tiện Kiến trúc phần mềm Hình 1.2 là mô tả kiến trúc chung của một hệ hội nghị đa phương tiện Application Lớp giữa hội thảo đa phương tiện Dữ liệu Mã hóa Video Mã hoá Audio Hợp/Phân kênh các dòng Line Drivers (LAN, Async) Các ứng dụng chia sẻ, ảnh tĩnh, văn bản… Ngõ vào Audio Ngõ vào Video Hình 1.2: Kiến trúc phần mềm chung cho hệ thống hội thảo đa phương tiện Kiến trúc mạng Một số cấu hình mạng khác nhau đã được sử dụng cho hội nghị đa phương tiện. Trong đó chủ yếu bao gồm: Mạng phân tán hoàn toàn (Fully distributed network). Mạng tập trung (Centralized network). Mạnh hình sao kép (double-star network). Mạng kiểu phân cấp (hierachical network). Mạng phân tán hoàn toàn: dựa trên nhiều kết nối điểm - điểm (point-to-point) và nối mỗi một thành viện với tất cả các thành viên khác. Trọng quá trình hội nghị, các thành viên sẽ gửi trực tiếp các dòng dữ liệu đến các thành viên khác. Việc xử lí và trộn dữ liệu được thực hiện tại từng vị trí của các thành viên tham gia hội nghị. Cấu hình này tiêu tốn băng thông nhiều nhất và lặp lại việc xử lí tại nhiều vị trí. Ngược lại, nếu xem xét dựa trên việc truyền và trộn, cấu hình này có thời gian trễ nhỏ nhất. Nhược điểm chính của nó là khi số lượng thành viên tham gia tăng lên sẽ gây ra sự bùng nổ các kết nối điểm - điểm. Mạng tập trung: bao gồm một nút trung tâm được nối tới tất cả các thành viên tham gia hội nghị. Nút trung tâm đóng vai trò như bộ xử lí trung gian và trộn dữ liệu. Nó nhận dữ liệu đa phương tiện từ các thành viên, trộn hoặc xử lí dữ liệu và sau đó quảng bá dữ liệu đã được xử lí đó trở lại cho các thành viên. Ưu điểm của cầu hình mạng này là việc xử lí chỉ phải thực hiện một lần trong hệ thống. Nhược điểm của nó là thời gian trễ tăng lên khi truyền dữ liệu kết hợp (composite media) từ một thành viên tới các thành viên khác vì bộ xử lí trung gian phải đợi nhận được toàn bộ dữ liệu đến trước khi có thể bắt đầu trộn và quảng bá. Mạng hình sao kép: là sự mở rộng của mạng tập trung. Trong hệ thống hình sao kép, nút trung tâm của mạng hình sao này được nối với nút trung tâm của mạng hình sao khác. Các nút trung tâm được dùng như bộ tập trung (concentrator) cho một số người dùng ở mạng này truyền thông với những người dùng ở mạng kia thông qua một kết nối hai chiều. Mạng phân cấp: Hệ thống bao gồm một loạt các nút trung gian với một nút gốc và nhiều nút phụ như trong hình. Tất cả các nút trung gian đều có thể thực hiện việc trộn và xử lí dữ liệu trong khi các nút là trên cây là các thành viên tham gia hội nghị. Dữ liệu đa phương tiện được truyền ngược lên phía trên cây để trộn và xử lí. Bộ trộn nhận dữ liệu từ nhiều nút lá hoặc các bộ trộn phía dưới sau đó chuyển các dữ liệu đã được trộn lên trên. Dữ liệu trộn cuối cùng hoàn toàn được sinh ra bởi nút gốc và được quảng bá trực tiếp từ nút gốc đến các nút lá trong hội nghị. Cấu hình này giúp giảm tải cho mạng vì vậy hệ thống có thể hỗ trợ số lượng thành viên lớn hơn so với cầu hình tập trung hay phân tán. Hội nghị đa phương tiện đặt ra những yêu cầu rất chặt chẽ về thời gian. Trễ đầu cuối một chiều được định nghĩa là thời gian để từ khi mọt thành viên cử động hoặc nói cho đến khi thành viên khác nhận được âm thanh hoặc hình ảnh cử động đó. Nguốn sinh ra trễ bao gồm: Thao tác của trạm làm việc (workstation operation). Thời gian truyền của trạm làm việc (workstation transmission). Trễ của mạng (network delay). Thời gian nhận của trạm làm việc (receiving workstation time). Để được xem là hội thoại trực tiếp (face to face) trễ này phải nhỏ hơn 150 ms, điều này dẫn đến tổng trễ trong một vòng (round-trip delay) phải nhỏ hơn 300 ms. Central Host Central Host Central Host (a) Mạng phân tán hoàn toàn (b) Mạng tập trung (c) Mạng hình sao kép Host (d) Mạng phân cấp Hình 1.3: Cầu hình mạng cho hệ thống hội thảo đa phương tiện Các đặc trưng và dịch vụ cơ bản của hệ thống hội nghị đa phương tiện Chia sẻ ứng dụng (Application Sharing) Là khả năng chia sẻ một chương trình chạy trên một máy tính với các thành viên khác trong hội nghị. Đặc trưng này cũng cho phép các thành viên nhìn thấy dữ liệu một cách nhất quán cũng như có thể điều khiển các ứng dụng như thể nó đạng chạy trên chính máy tính của mình. Ứng dụng thông thường được chia sẻ trong các môi trường hội nghị đa phương tiện là bảng trắng (white-board) và trình duyệt cộng tác (collaborative browser). Việc chia sẻ ứng dụng là rất hữu ích trong các hội nghị hỗ trợ kĩ thuật (tenical support) hay đào tạo từ xa. Ví dụ các thành viên trong hội nghị có thể thăm một số trang Web dùng trình duyệt chia sẻ trong khi vẫn có thể tiếp tục giao tiếp với các thành viên khác để đánh giá, giải thích trang Web đang được duyệt. Chat văn bản (Text chat) Chat văn bản là ứng dụng trong đó người dùng có thể giao tiếp với nhau bằng cách viết các thông điệp văn bản ngắn. Văn bản có thể được truyền đến tất cả các thành viên khác hoặc chỉ một nhóm nhỏ. Điều này đặc biệt quan trọng trong giai đoạn cấu hình hệ thống hội nghị đa phương tiện, lúc mà chưa thể truyền dữ liệu audio hay video. Định danh người gọi (Caller ID) Trong các môi trường hội nghị đa phương tiện, khi các ứng dụng đầu cuối của người dùng chờ kết nối từ những thành viên khác, định danh người gọi là khả năng cho phép xác định được người đang gọi trước khi trả lời. Do đó người dùng có thể trả lời yêu cầu kết nối đó hoặc không. Một số ứng dụng cho phép tự động thao tác dựa vào định danh người gọi. Kiểm soát (Parental control) Cho phép giời hạn việc truyền đi hoặc nhận dữ liệu từ các thành viên khác nhau trong hệ thống. Kiểm soát thường được thực hiện bằng cơ chế tên người dùng và mật khẩu. Hỗ trợ multicast Multicast là một giao thức IP cho phép phân phối các dữ liệu nhạy cảm với thời gian (như audio, video…) tới một tập hợp các nút đích mà không gây ra tắc nghẽn ở các nút mạng. Phương pháp này dựa trên việc phân phối các gói tin theo hình cây phân cấp, không bị lặp lại (non-duplicated). Để thiết lập một hệ thống dựa trên multicast, không chỉ các ứng dụng mà ngay cả các router của mạng cũng phải hỗ trợ multicast. Nếu các router trong mạng không hỗ trợ multicast ta cũng có thể giả lập được nó.Theo cách này, một vài máy tình trong mạng sẽ đóng vai trò như các multicast router, chuyển tiếp các gói tin đến các trạm làm việc khác. Hiện tại, giao thức IPv4 chỉ xem multicast như một tuỳ chọn (option), do đó không phải mọi router đều hỗ trợ nó. Giao thức IPv6 trong tương lai sẽ phải hỗ trợ multicast như một trong những đặc điểm cơ bản của nó. An ninh (Security) Ở đây an ninh liên quan đến việc bảo vệ dữ liệu truyền trong phiên hội nghị, chỉ cho phép các thành viên đã được chọn nhận. Dữ liệu này có thể là audio, video, văn bản, ứng dụng chia sẽ hoặc bất kì loại dữ liệu nào khác trong phiên. Ví dụ về các ứng dụng hội nghị đòi hỏi an ninh là các cuộc hội nghị về quân sự, đàm phán hợp đồng kinh tế… Trả phí (Payment) Trong một số trường hợp cụ thể, như đào tạo từ xa, hỗ trợ kĩ thuật…thông tin chỉ có thể trao đổi, chia sẻ nếu khách hàng sẵn sàng trả một khoản phí nào đó. Các khoản phí này thông thường được thanh toán bằng phương thức điện tử và nó phải gắn chặt với an ninh mạng. Đây là một trong những vấn đề quan trọng trong môi trường thương mại để đảm bảo rằng chỉ những người trả tiền mới có thể sử dụng dịch vụ. Ghi nhật kí và xử lí thông tin off-line Trong một phiên hội nghị đa phương tiện, có rất nhiều sự kiện phải được ghi lại để xử lí hoặc tổng kết phiên. Những thông tin đó có thể bao gồm những loại sau: Các sự kiện điều khiển (control event): là các thông tin chỉ ra quá trình diễn tiến của hội nghị như thời điểm hội nghị bắt đầu, thời điểm kết thúc, thời điểm khi một thành viên bắt đầu tham gia hoặc rời khỏi hội nghị và các sự kiện tương tự khác. Các dữ liệu tổ chức (organizational data): như chủ đề của hội nghị, thành viên nào đang phát biểu và về vấn đề gì... Các loại dữ liệu khác của hội nghị như một phần dữ liệu video của hội nghị, dữ liệu audio của một thành viên nào đó hoặc các trình diễn trong hội nghị. Bằng cách ghi nhật kí các sự kiện, một phiên hội nghị có thể được chiếu lại, hoặc một phần của nó có thể được xử lí sau khi hội nghị đã kết thúc. Các đặc trưng khác Một số đặc trưng khác của một hệ thống ứng dụng hội nghị đa phương tiện bao gồm: Số lượng thành viên tham gia hội nghị: một số ứng dụng giới hạn chỉ cho phép giao tiếp 1-1 giữa các thành viên trong khi các ứng dụng khác có thể có nhiều thành viên tích cực (thành viên có thể truyền dữ liệu) tại cùng một thời điểm. Đây là một trong những đặc trưng quan trọng của hệ thống hội nghị đa phương tiện. Trộn dữ liệu audio (Audio mixing): trong môi trường hội nghị có nhiều thành viên tham gia, có thể xảy ra tình huống có nhiều thành viên cùng nói tại một thời điểm. Các ứng dụng khác nhau sẽ xử lí tình huống này theo những cơ chế khác nhau. Một số cho phép trộn dữ liệu audio trong khi đó một số khác lại thực hiện cơ chế “nói theo yêu cầu” (speak on demand). Số lượng đồng thời các dòng video: trong các hệ thống hội nghị đa phương tiện luôn luôn có một giới hạn về số các dòng video được truyền tại một thời điểm. GIới hạn này có thể do định nghĩa trước hoặc phục thuộc vào băng thông của mạng. Trên đây chỉ là những đặc trưng và dịch vụ cơ bản của một hệ thống hội nghị đa phương tiện. Tuỳ vào ứng dụng cụ thể trong thực tế có thể sẽ không có một số dịch vụ, đặc trưng nào đó, đồng thời cũng có thể có trường hợp xuất hiện thêm nhứng dịch vụ mới khác để phục vụ cho nhu cầu riêng của từng ứng dụng. Các dịch vụ điều khiển hội nghị Điều khiển hội nghị là một cơ chế để phối hợp và quản lí nhiều thành viên đang sử dụng những phương tiện khác nhau trong hội nghị và nó tạo thành cơ sở, nền tảng cho các thao tác trong hệ thống hội nghị. Các dịch vụ điều khiển đóng một vai trò quan trọng trong hệ thống, vì vậy ta phải xem xét nó trong một phần riêng. Các dịch vụ này được chia thành hai loại: các dịch vụ hiện hữu đối với người sử dụng (user visible services) và các dịch vụ quản lí bên trong (internal management services) là trong suốt đối với người sử dụng. Các dịch vụ hiện hữu đối với người sử dụng được gọi bởi các thành viên và thường đưa đến các hành động khác nhau trong một pbiên hội nghị như các dịch vụ dùng để tạo,kết thúc hội nghị, quản lí và gán các vai trò (role), kiểm tra truy nhập…Các dịch vụ quản lí bên trong bao gồm các dịch vụ như liên tác giữa các kiến trúc hội nghị khác nhau, duy trì sự nhất quán giữa các bộ điều khiển hội nghị (conference controller). Ở đây, ta định nghĩa một phiên hội nghị (conference session) là một cuộc gọi thoại Internet, một cuộc hội nghị đa phương tiện hay một trò chơi tương tác. Nó bao gồm hai hoặc nhiều thành viên tham gia. Đã có rất nhiều phương pháp điều khiển hội nghị được đưa ra, ở đay ta sẽ xem xét những chức năng, dịch vụ chung nhất, thiết yếu nhất của tất cả các phương pháp đó. Tương tác trong điều khiển hội nghị Trong điều khiển hội nghị có hai loại tương tác chính sau đây: Truyền thông liên hệ thống (Intersystem communication) xảy ra giữa các thành phần chạy trên những hệ thống khác nhau: các thực thể quản lí hội nghị truyền thông với nhau sử dụng giao thức quản lí hội nghị qua mạng. Một tập các ứng dụng sẽ trao đổi thông tin với nhau trong các phiên ứng dụng nhưng các phiên ứng dụng này là hoàn toàn tách biệt nhau, có thể hoặc không cần được điều khiển bởi thực thể quản lí hội nghị. Các ứng dụng ngang hàng phải có những thuộc tính tương thích với nhau như cùng một bộ mã hoá, bộ nén… Truyền thông trong cùng hệ thống (Intrasystem communication): được dùng để phối hợp hoạt động của các ứng dụng cục bộ, không liên quan đến nhau trong cùng một hệ thống hội nghị và tích hợp chúng với các thực thể quản lí hội nghị cũng như cung cấp truy nhập tới các dịch vụ điểu khiển hội nghị. Hình 1.4: Tương tác giữa hai hệ thống teleconference trong một hội nghị điểm-điểm Như trên hình (1.4) ta thấy, việc truy nhập các dịch vụ hiện hữu với người sử dụng là thông qua giao diện người dùng (User Interface). Nếu một người sử dụng mời tham gia hội nghị một thành viên thuộc hệ thống hội nghị khác, các chức năng quản lí bên trong sẽ thực hiện sự liên tác. Nó đồng thời cũng cung cấp việc quản lí kết nối dưới dạng thiết lập phiên, duy trì và ngắt kết nối giữa các thực thể quản lí của hai hệ thống sử dụng các giao thức cơ bản như TCP, UDP. Các dịch vụ hiện hữu đối với người sử dụng (User Visible Services) Các dịch vụ hiện hữu đối với người sử dụng của điều khiển hội nghị được chia thành nhiều nhóm chức năng khác nhau bao gồm cấu hình hội nghị, quản lí thành viên, quản lí phương tiện và an ninh. Cấu hình hội nghị (conference configuration): nhằm mô tả sơ luợc cấu hình của một hội nghị, đồng thời nó cũng cung cấp các phương tiện để xác định và thực thi các cơ chế hội nghị khác nhau. Việc trả phí để có thể tham gia hội nghị cũng là một phần của nhóm chức năng này. Mô tả hội nghị (conference profile) cũng có thể định nghĩa, xác định các thành viên được chấp nhận (permissible participant), các vai trò sẵn sàng (available roles), và các quyền liên kết với nó. Trong phiên hội nghị, việc gán các vai trò (role) có thể bằng cách a) gán ngay từ đầu hoặc b) yêu cầu vai trò và sau đó có thể cho phép/từ chối/ chia sẻ vai trò đó. Quản lí sự tham gia (Participation Management): bao gồm các dịch vụ để thiết lập hội nghị, thực hiện các lời gọi điểm điểm (point-to-point calls), các lời mời