Đồ án Điều khiển tốc độ video mã hóa chuẩn H.264 thích ứng trên mạng Adhoc

BỘ GIÁO DỤC VÀ ĐÀO TẠO   CỘNG HÒA XÃ HÔI CHỦ NGHĨA VIỆT NAM   TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------------------   Độc lập - Tự do - Hạnh phúc ---------------------------------   NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ và tên sinh viên: LÊ HUY BÌNH Số hiệu sinh viên: 20040215 Khoá: 49 Khoa: Điện tử - Viễn thông Ngành: ………………......... Đầu đề đồ án: ………………………………………………..………………………………………………………… ……………………………………………………………………………………………………………. Các số liệu và dữ liệu ban đầu: ……………………………………..……………………………………………..……..……………… ……………………………………………………………………………………………………………………………….…..………………………..…………………………………………………………… Nội dung các phần thuyết minh và tính toán: ………………………………………………………………………………………………………………..….……………………………………………………………………………………………………………………………………..….………………………………………………………………………………………………………………………………………..….…………………………………………………………………………………………… Các bản vẽ, đồ thị ( ghi rõ các loại và kích thước bản vẽ ): ………………………………………………………………………………………………………………………..….…………………………………………………………………………………………………………………………..……….…………………………………………………………………… Họ tên giảng viên hướng dẫn: TS. PHẠM VĂN TIẾN Ngày giao nhiệm vụ đồ án: Ngày hoàn thành đồ án:  Ngày tháng năm   Chủ nhiệm Bộ môn  Giảng viên hướng dẫn   Sinh viên đã hoàn thành và nộp đồ án tốt nghiệp ngày tháng năm Cán bộ phản biện BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------------------- BẢN NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP Họ và tên sinh viên: ....................................................................... Số hiệu sinh viên: ........................... Ngành: ............................................................................................ Khoá: ........................................... Giảng viên hướng dẫn: ............................................................................................................................... Cán bộ phản biện: ....................................................................................................................................... Nội dung thiết kế tốt nghiệp: ........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................ Nhận xét của cán bộ phản biện: .............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................. Ngày tháng năm Cán bộ phản biện ( Ký, ghi rõ họ và tên ) LỜI NÓI ĐẦU Trong những năm gần đây, cùng với sự phát triển mạnh mẽ của khoa học máy tính, đặc biệt là lĩnh vực máy tính nhúng, loài người người đã có những thay đổi to lớn về cách thức cũng như phương tiện giao tiếp. Với những tiến bộ trong truyền thông vô tuyến, kết hợp với sự bùng nổ của các phương tiện nhúng như điện thoại di động, PDA, và máy tính xách tay, thì một lĩnh vực công nghệ đầy tiềm năng đang dần được khai phá đó là “tính toán khắp nơi”(ubiquitous computing). Mạng Ad hoc ra đời như một tất yếu của quá trình phát triển này. Sau một thời gian làm việc rất cố gắng trên phòng Lab 411 Khoa Điện Tử - Viễn Thông dưới sự hướng dẫn tận tình của thầy giáo TS.Phạm Văn Tiến, cùng với sự hợp tác chặt chẽ của các thành viên trong phòng Lab, em đã hoàn thành đồ án với đề tài “Điều khiển tốc độ video mã hoá chuẩn H.264 thích ứng trên mạng Ad hoc” Với những nỗ lực thực sự, đồ án của em đã có được một số kết quả nhất định, mặc dù vậy, do thời gian có hạn em không thể tránh khỏi một số thiếu sót cũng như một số nhiệm vụ chưa hoàn thành được. Vì vậy, em rất mong những ý kiến đóng góp của các thầy cô giáo và bạn bè. Em xin gửi lời cảm ơn chân thành tới: Thầy giáo TS.Phạm Văn Tiến Nhóm nghiên cứu và phát triển của phòng Lab 411 Khoa Điện Tử - Viễn Thông, trường ĐH Bách Khoa Hà Nội Cùng toàn thể gia đình và bạn bè đã hỗ trợ em trong quá trình nghiên cứu. Sinh viên thực hiện LÊ HUY BÌNH TÓM TẮT ĐỒ ÁN “Điều khiển tốc độ video mã hoá chuẩn H.264 thích ứng trên mạng Ad hoc” H.264/AVC là chuẩn mã hoá video mới nhất của ITU-T nhóm các chuyên gia mã hoá video (VCEG- Video Coding Experts Group) và ISO/IEC nhóm các chuyên gia về ảnh động (MPEG- Motion Picture Experts Group). Những thành công chính của chuẩn H.264/AVC là cải thiện tỷ số nén và khả năng thân thiện với cách đánh địa chỉ mạng cho các ứng dụng hội thảo truyền hình, lưu trữ hoặc streaming. Là một nhóm các thiết bị di động kết nối qua mạng không dây, một mạng không dây Ad hoc được đặc trưng bởi sự thay đổi theo thời gian và ảnh hưởng trực tiếp đến liên lạc. Ngày nay, truyền thông đa phương tiện trên mạng Ad hoc đa chặng còn có nhiều thử thách, đặc biệt khi sử dụng bộ mã hoá H.264 do luồng video rất nhạy cảm với độ trễ trong khi đó tài nguyên của các nút mạng thành phần hạn chế. Đồ án này tập trung vào việc thực thi thiết kế xuyên tầng cho bộ mã hoá, giao tiếp tiến trình bằng bộ nhớ chung. Qua việc thực thi thiết kế xuyên tầng, server truyền sẽ thay đổi tham số lượng tử trong thời gian thực phụ thuộc vào thông tin của các lớp dưới như lớp định tuyến, lớp truyền. Đồ án gồm 5 chương: Chương 1: Giới thiệu về vấn đề phát sinh và phương pháp nghiên cứu Chương 2: Giới thiệu bộ mã hoá H.264: cấu trúc của H.264, điều khiển tốc độ ... Chương 3: Giới thiệu giao thức định tuyến tối ưu OLSR Chương 4: Thực thi thiết kế xuyên tầng Chương 5: Kết quả , kết luận và hướng nghiên cứu tiếp theo. ABSTRACT “Research and developing the real time streaming system and proactive protocol for multimedia transmission over Ad hoc network ” H.264/AVC is newest video coding standard of the ITU-T Video Coding Experts Group (VCEG) and the ISO/IEC Moving Picture Experts Group (MPEG). The main goals of the H.264/AVC standardization effort have been enhanced compression performance and provision of a "network-friendly" video representation addressing "conversational" (video telephony) and "non-conversational" (storage, broadcast, or streaming) applications. H.264/AVC has achieved a significant improvement in rate-distortion efficiency relative to existing standards. Being a set of mobile computing devices connected over wireless links, an Ad-hoc wireless network is characterized by dynamic changes that affect the communication. Real-time video communication over wireless multi-hop ad hoc network remains challenging, particularly using H.264 CODEC, as video traffic is highly time-sensitive while network resources are limited and time-varying. In fact, this thesis focuses on implementing cross-layer design for encoder, inter process communication Shared Memory. By implementing cross-layer design, streaming server will vary input parameters of encoder in real-time and that changes depend on the information of lower layer, namely, link quality information of routing layer. This thesis consists of 5 chapters: Chapter1: Introduction about problem which solved in this thesis and research method Chapter 2: Overview of H264 video coding standard such as h264 structure, rate control and so on. Chapter 3: Fundamental of optimized link state routing OLSR Chapter 4: Design of cross-layer : detail design and implementation Chapter 5: Results, conclusion, and next research direction MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 1 BẢN NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP 2 LỜI NÓI ĐẦU 3 TÓM TẮT ĐỒ ÁN 4 ABSTRACT 5 MỤC LỤC 6 DANH MỤC HÌNH VẼ 10 DANH MỤC BẢNG BIỂU 12 CÁC THUẬT NGỮ VIẾT TẮT 13 Chương 1 GIỚI THIỆU CHUNG 16 1.1 Mục đích thiết kế 16 1.2 Phương pháp nghiên cứu 18 Chương 2 CHUẨN NÉN VIDEO H.264/MPEG-4 Part 10 19 2.1 Giới thiệu chung về bộ CODEC H.264 20 2.1.1 Bộ mã hoá (Encoder) 20 2.1.2 Bộ giải mã (Decoder) 23 2.2 Cấu trúc 23 2.2.1 Định dạng video (video format) 24 2.2.2 Định dạng dữ liệu được mã hóa 24 2.2.3 Slice 25 2.2.4 Macroblock 27 2.2.5 Ảnh tham chiếu(reference picture) 29 2.3 Profile 30 2.4 Lớp mạng trừu tượng (NAL) 31 2.4.1 Định nghĩa lớp mạng trừu tượng: 31 2.4.2 Cấu trúc của NAL unit 32 2.4.3 Tập tham số (parameter set) 35 2.5. Điều khiển tốc độ (Rate control) 43 2.5.1. Giới thiệu về điều khiển tốc độ trong H.264 43 2.5.2. Phân loại ratecontrol 44 2.5.2.1.Chế độ 2 pass 44 2.5.2.2Chế độ1 pass 44 a)1 pass ABR 44 b)1 pass CBR 45 c)1 pass CRF 45 d)1 pass CQP 46 2.5.3 Mô hình điều khiển tốc độ trong H.264 46 2.5.3.1Mô hình tốc độ méo (Rate-distortion model) 48 a)Mức độ nhóm ảnh (GOP level) 48 b)Mức độ khung (Frame level) 49 2.5.3.2Dự đoán độ phức tạp 56 2.5.3.3Mô hình bộ nhớ ảo 57 2.5.3.4Giới hạn Delta QP (Delta QP-limiter) 58 2.5.3.5Phân bố bit của đơn vị cơ b ản (Basic Unit Allocation) 58 2.5.4. Chế độ ratecontrol trong x264 58 a) Constant QP 58 b) Constant rate factor 59 2.5.5. Kết quả thu được 59 a) mối quan hệ giữa tốc độ bit đầu ra và các tham số điều khiển tốc độ: 59 b) Thiết kế xuyên tầng 63 Chương 3 GIAO THỨC ĐỊNH TUYẾN OLSR 64 3.1 Giới thiệu 64 3.2 Một số khái niệm cơ bản: 64 3.3 Hoạt động 65 3.4 IBSS (IEEE Ad hoc mode) 67 3.5 Thông tin chất lượng đường truyền mở rộng (Link Quality Extension) 69 3.6 Debug output: 69 3.6.1 Phân tích bảng thông tin các liên kết: 69 3.6.2 Phân tích bảng thông tin các nút hàng xóm 70 3.6.3 Phân tích bảng thông tin về topo mạng 71 3.6.4 Phân tích bảng định tuyến tìm đường theo DIJKSTRA 71 Chương 4 GIỚI THIỆU VỀ THIẾT KẾ XUYÊN TẦNG 4.1 Mối liên hệ code giữa vlc, x264 và olsrd 73 4.2 Thiết kế xuyên tầng giữa vlc, x264 và olsrd 74 Chương 5 KẾT QUẢ NGHIÊN CỨU, KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO 75 5.1 Test case 1: Thí nghiệm chứng tỏ etx là giá trị cần truyền cho vlc 75 5.1.1 Thí nghiệm 1: 75 5.1.2 Thí nghiệm 2: 77 5.2 Kết quả thu được: Thực thi thiết kế xuyên tầng thành công: 79 5.3 Kết luận 82 5.4 Hướng nghiên cứu tiếp theo: 82 TÀI LIỆU THAM KHẢO 83 DANH MỤC HÌNH VẼ Hình 1. 1: Mô hình mạng ad-hoc 16 Hình 1. 2: Phương pháp nghiên cứu 18 Hình 2. 1: sơ đồ bộ mã hoá 20 Hình 2. 2: sơ đồ bộ mã hoá cụ thể 21 Hình 2. 3: Dự đoán nội suy 22 Hình 2. 4: Sơ đồ bộ giải mã 23 Hình 2. 5: cấu trúc mã hoá dữ liệu của H.264 23 Hình 2. 6: Chuỗi đơn vị NAL 24 Hình 2. 7: Slices 25 Hình 2. 8: Cấu trúc của slice 27 Hình 2. 9: MacroBlock 27 Hình 2. 10: Ảnh tham chiếu và bù chuyển động 29 Hình 2. 11: các profile 30 Hình 2. 12: Cấu trúc của bộ mã hóa H.264/AVC 31 Hình 2. 13: video coding layer và network abstract layer 32 Hình 2. 14: Cấu trúc của đơn vị NAL 32 Hình 2. 15: cấu trúc tập tham số của H.264 35 Hình 2. 16: Tập tham số 36 Hình 2. 17: luồng dữ liệu đi qua NAL và VCL 37 Hình 2. 18: Cấu trúc đơn vị truy cập 40 Hình 2. 21: Quan hệ giữa giá trị lượng tử hóa và tốc độ bit đầu ra theo lý thuyết 46 Hình 2. 22: Mối quan hệ giữa độ phức tạp nguồn và độ méo 47 Hình 2. 23: mô hình điều khiển tốc độ trong H.264 47 Hình 2. 24: quan hệ giữa QP và tốc độ bit đầu ra 60 Hình 2. 25: quan hệ giữa CRF và tốc độ bit đầu ra 61 Hình 2. 26: Đồ thị biểu diễn chất lượng video tương ứng với giá trị QP 61 Hình 2. 27: thiêt kế xuyên tầng 63 Hình 3. 1: Mô hình mạng không dây theo chuẩn IEEE 802.11 infrastructure 67 Hình 3. 2: Mô hình mạng không dây theo chuẩn IEEE 802.11 infrastructure mode 68 Hình 3. 3: Chế độ IEEE 802.11 ad-hoc không hỗ trợ đa chặng 69 Hình 3. 4: Chế độ IEEE 802.11 ad-hoc truyền đa chặng 69 Hình 4. 1 Sơ đồ code giữa vlc, x264 và olsr 73 Hình 4. 2 Thực thi thiết kễ xuyên tầng 74 Hình 5. 1: Thí nghiệm 1 75 Hình 5. 2: thí nghiệm 2 76 Hình 5. 3: Thí nghiệm 2 77 Hình 5. 4: VLC thực hiện quá trình lấy địa chỉ IP nguồn và địa chỉ IP đích 79 Hình 5. 5: OLSR nhận địa chỉ từ vlc 80 Hình 5. 6: OLSR hiển thị bảng định tuyến của liên kết vừa thiết lập 80 Hình 5. 7: OLSR thường xuyên cập nhật giá trị etx 81 Hình 5. 8: Tốc độ bit đầu ra khi đã có điều khiển tốc độ 81 Hình 5. 9: Video truyền đi 82 DANH MỤC BẢNG BIỂU Bảng 1: Bảng các thuật ngữ viết tắt 13 Bảng 2: Các loại slice 26 Bảng 3: Các thành phần cấu trúc của Macroblock 28 Bảng 4: Kiểu NAL 33 Bảng 5: RBSP 34 Bảng 6: Cấu trúc PPS 37 Bảng 7: Mối quan hệ giữa QP và tốc độ bit đầu ra bộ mã hóa 59 Bảng 8: Mối quan hệ giữa crf và tốc độ bit đầu ra bộ mã hóa 59 CÁC THUẬT NGỮ VIẾT TẮT Bảng 1: Bảng các thuật ngữ viết tắt STT  Từ viết tắt  Thuật ngữ tiếng anh  Thuật ngữ tiếng việt   1  ME  Motion estimation  dự đoán chuyển động   2  MC  Motion compensation  Bù chuyển động   3  DCT  Discrete cousin transfer  Biến đổi cô-sin rời rạc   4  NAL  Network abstract layer  Lớp mạng trừu tượng   5  VCL  Video coding layer  Lớp mã hoá video   6  RBSP  Raw byte stream sequence payload  chuỗi dữ liệu luồng byte   7  PSNR  Peak signal to noise ratio  Tỷ số tín hiệu trên tạp âm   8  IDR  Instantaneous decoder refesh    9  ABR  Average bit rate  Tốc độ bit trung bình   10  CBR  Constant bit rate  Tốc độ bit không đổi   11  CQP  Constant quantization parameter  Tham số lượng tử không đổi   12  CRF  Constant rate factor  Tham số tốc độ không đổi   13  GOP  Group of picture  Nhóm ảnh   14  OLSRD  Optimized link state daemon  Định tuyến tối ưu theo chất lượng đường truyền   15  MANET  Mobile adhoc network  Mạng ad hoc không dây   16  MPR  Multi point relay    17  MPRS  Multi point relay selector    18  BSS  Basic service set  Nhóm dịch vụ cơ bản   19  IBSS  Independent basic service set  Nhóm dịch vụ cơ bản độc lập   20  LQ  Link quality  chất lượng đường truyền   21  NLQ  Neighbor link quality  Chất lượng đường truyền nút hang xóm   22  ETX  Expected transmission count  Số lần truyền mong muốn   Chương 1 GIỚI THIỆU CHUNG Mục đích thiết kế Mạng không dây ad hoc được đặc trưng bởi sự thay đổi không dự đoán được của điề kiện kênh truyền như băng thông có thể thay đổi theo thời gian và không gian.Do đó việc truyền video thời gian thực trong mạng ad hoc có rất nhiều thách thức như về sự thay đổi của sơ đồ mạng (di chuyển của các nút) , lưu lương mạng, độ trễ của gói dữ liệu, mất gói dữ liệu đặc biệt là sự hạn chế về mặt tài nguyên của chính các thiết bị liên lạc sử dụng trong mạng ad hoc : năng lượng tiêu thụ ,khả năng xử lí.của các thiết bị, phạm vị hoạt động
Hình 1. 1: Mô hình mạng ad-hoc Ngày nay có rât nhiều chuẩn nén video tiên tiến đạt tỉ số nén cao mà vẫn đảm bảo chất lượng video thu được sau khi nén như MPEG4,H264,.vvv...Tuy nhiên,trong số các chuẩn nén video, chuẩn H264 có đặc tính thân thiên với mạng, cho chất lượng ảnh tốt hơn các chuẩn mã hóa video khác khi truyền ở tốc độ bit thấp.Do vây bộ mã H264 được lựa chon là bộ mã hóa video chính cho đề tài “Truyền video đa chặng trong mạng ad hoc”.Do đặc tính đã nêu của mạng không dây ad hoc cho nên việc xây dựng cơ chế truyền thích nghi với chất lượng kênh truyền rất cần thiết rất cần thiết để có thể tăng hiệu quả sử dụng băng thông và tài nguyên của chính thiết bi không dây trong mạng ad hoc. Phương pháp nghiên cứu
Hình 1. 2: Phương pháp nghiên cứu CHUẨN NÉN VIDEO H.264/MPEG-4 Part 10 Một trường- field (của video quét xen kẽ) hoặc một khung- frame (của video quét liên tục hay quét xen kẽ) được mã hóa để tạo thành một ảnh được mã hóa - Coded Picture. Một ảnh được mã hóa có số khung (báo hiệu trong luồng bit), số này không phải là thứ tự giải mã.Ngoài ra mỗi một trường được mã hóa của khung quét xen kẽ hay liên tục có một số đến thứ tự bức ảnh dùng để xác định thứ tự giải mã trường đó. Các ảnh được mã hóa trước đó được tổ chức trong một hoặc hai danh sách List 0 và List 1Một bức ảnh được mã hóa bao gồm nhiều khối macro, mỗi khối gồm 16x16 mẫu độchói, và 8x8 mẫu sắc đỏ Cb, 8x8 sắc lục Cb.Trong mỗi bức ảnh, khối macro được xếp thành cách slice theo đó slice là một tập các khối macro theo thứ tự quét mành. Một slice I có thể bao gồm chỉ có khối macro loại I và P slice có thể bao gồm khối macro I và O. Slice B có thể bao gồm khối macro B và I. Khối macro I được dự đoán sử dụng phép dự doán trong từ các mẫu được giải mã trong slice đó. Sự dự đoán được thực hiện bằng cách cho toàn khối macro hay một phần ví dụ từng khối 4x4 mẫu độ chói và các mẫu sắc tương ứng. Khối macro P được định nghĩa sử dụng dự đoán ngoài từ ảnh tham chiếu. Một khối macro được mã hóa ngoài có thể chia thành các phần macro ví dụ khối kích thước 16x16 hoặc 16x8, 8x16, 8x8 các mẫu độ chói. Nếu kích cỡ 8x8 được chọn, mỗi khối macro con 8x8 sẽđược chia nhỏ thành 8x8, 8x4, 4x8, 4x4 mẫu độ chói (kết hợp với các mẫu sắc).Mỗi vùng khối macro có thể được dự đoán từ một bức ảnh trong danh sách 0.Nếu có thể, mỗi vùng khối macro con trong khối macro con sẽ được dự đoán từ cùng một bức ảnh trong List0. Khối macro B được dự đoán bằng cách dự đoán ngoài từ ảnh tham chiếu.Mỗi vùng khối macro có thể được dự đoán từ một hay hai ảnh tham chiếu một ở danh sách 0-List 0, một ở danh sách 1- List 1. Giới thiệu chung về bộ CODEC H.264 Bộ mã hoá (Encoder)
Hình 2. 1: sơ đồ bộ mã hoá
Hình 2. 2: sơ đồ bộ mã hoá cụ thể Mã hoá xuôi (quá trình mã hoá thực hiện từ trái qua phải): Fn là khung hoặc field được chia nhỏ thành các macroblock, mỗi block sẽ được mã hoá theo chế độ intra hoặc inter. Trong chế độ intra, thành phần được dự đoán P (ở đây có thể là các mẫu) được suy ra từ các mẫu đã được mã hóa hoặc đã được giải mã hay khôi phục trong cùng 1 slice.Trong đó uF'n là những mẫu chưa được lọc được dung cho việc xác định P. Trong chế độ inter, thành phần được đoán P được suy ra nhờ dự đoán bù chuyển động (motion-compensated prediction) từ 1 đến 2 khung đã mã hoá trước đó. Hiệu của thành phần được dự đoán P và block hiện tại là block hiệu Dn. Block hiệu Dn được biến đổi DCT và lượng tử hoá tạo thành một nhóm hệ số biến đổi đã lượng tử hoá, các hệ số này sẽ được sắp xếp lại và ma hoá entropy. Các hệ số lượng tử và các thông tin cần thiết để giải mã từn