Tiếu luận phương pháp luận sáng tạo khoa học: quá trình hình thành và phát triển của microsoft kinect

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH TIẾU LUẬN PHƯƠNG PHÁP LUẬN SÁNG TẠO KHOA HỌC: QUÁ TRÌNH HÌNH THÀNH VÀ PHÁT TRIỂN CỦA MICROSOFT KINECT Giảng viên hướng dẫn: GS. TS. HOÀNG VĂN KIẾM Học viên thực hiện: NGUYỄN PHƯƠNG ANH Lớp: Cao học Khóa 6 MSHV: CH1101159 TP. Hồ Chí Minh, tháng 04 năm 2012 LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc đến GS. TS. Hoàng Văn Kiếm, trưởng bộ môn Kỹ thuật phần mềm khoa Công Nghệ Phần Mềm, trường Đại học Công Nghệ Thông Tin, ĐHQG TP.HCM đã tận tình hướng dẫn, cung cấp kiến thức, truyền đạt những kinh nghiệm quí báu giúp em hoàn thành tốt bài tiểu luận này. Xin cám ơn cha, mẹ, các anh, chị em trong gia đình đã hỗ trợ, lo lắng và động viên. Đồng thời, xin cám ơn tất cả các bạn đã ủng hộ, giúp đỡ chúng tôi trong quá trình thực hiện bài tiểu luận này. Dù đã có nhiều cố gắng nhưng chắc chắn sẽ không tránh khỏi những thiếu sót, em rất mong nhận được sự đóng góp ý kiến của các Thầy giáo, Cô giáo và các bạn để đề tài này được hoàn thiện hơn. Em xin chân thành cảm ơn! Tp Hồ Chí Minh, tháng 04 năm 2012 Học viên NHẬN XÉT (Của giảng viên hƣớng dẫn) ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... ............................................................................................................................................................... MỤC LỤC LỜI NÓI ĐẦU ................................................................................................................. 1 CHƢƠNG 1: TÌM HIỂU MICROSOFT KINECT ......................................................... 2 1. Giới thiệu về Microsoft Kinect ............................................................................. 2 2. Lịch sử phát triển ................................................................................................... 2 3. Cấu trúc phần cứng của Kinect ............................................................................. 4 4. Cấu trúc của Kinect SDK ...................................................................................... 6 CHƢƠNG 2: CÂU CHUYỆN BÍ MẬT VỀ SỰ PHÁT TRIỂN KINECT ..................... 8 CHƢƠNG 3: KẾT LUẬN ............................................................................................. 15 PHỤ LỤC ...................................................................................................................... 16 TÀI LIỆU THAM KHẢO ............................................................................................. 18 MỤC LỤC HÌNH ẢNH Hình 1: Thiết bị Microsoft Kinect ................................................................................... 2 Hình 2: Gian hàng của Microsoft tại triển lãm E3 - 2009 ............................................... 3 Hình 3: Cấu trúc phần cứng bên trong Kinect................................................................. 4 Hình 4: Lƣới hồng ngoại phát ra từ Kinect ..................................................................... 5 Hình 5: Bản đồ chiều sâu của hình ảnh thu về thể hiện bằng màu gradient từ trắng(gần) đến xanh dƣơng(xa) ......................................................................................................... 5 Hình 6: Microsoft Kinect sau khi đƣợc tháo rời hoàn toàn ............................................. 6 Hình 7: Phần cứng và phần mềm của Kinect tƣơng tác với một ứng dụng .................... 6 Hình 8: Cấu trúc ứng dụng Kinect để phát triển ứng dụng trên Kinect SDK ................. 7 Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 1 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh LỜI NÓI ĐẦU Kể từ khi máy tính cá nhân đƣợc phát triển, máy tính đƣợc sản xuất hƣớng tới ngƣời dùng phổ thông nhiều hơn. Điều đó thúc đẩy tƣơng tác ngƣời-máy cũng đƣợc phát triển theo những hình thức ngày càng đơn giản hơn và tự nhiên hơn. Trong lịch sử máy tính hiện đại đã có 2 cuộc cách mạng lớn về thiết bị đã dẫn tới những thay đổi của tƣơng tác ngƣời-máy, và sắp tới có thể là cuộc cách mạng của thiết bị Kinect và các thiết bị tƣơng tự. Nỗ lực sớm nhất của việc thay đổi tƣơng tác ngƣời-máy là vào năm 1880, khi Herman Hollerith làm việc ở Cục điều tra dân số Hoa Kì, tìm cách xử lý dữ liệu dân số bằng máy. Kết quả là máy tính sử dụng bìa đục lỗ đã đƣợc tạo ra, đem tới một phƣơng thức thao tác đơn giản hơn với dữ liệu. Sau này, bàn phím tồn tại cùng với sự phát triển của các máy tính hiện đại. Nhƣng 2 điều vừa nêu vẫn chƣa phải là những cuộc cách mạng vì bìa đục lỗ quá phức tạp và thao tác với các phím mũi tên trên bàn phím vẫn chƣa quen thuộc với thói quen tự nhiên của con ngƣời. Cho tới năm 1983, chuột máy tính đầu tiên đƣợc giới thiệu cùng với máy Lisa của Apple. Đi kèm đó là sự xuất hiện của giao diện ngƣời dùng đồ hoạ (Graphical User Interface - GUI). Và đây là cuộc cách mạng đầu tiên trong tƣơng tác ngƣời-máy. Chuột máy tính sau đó đã trở nên không thể thiếu với hầu hết máy tính cá nhân. Cuộc cách mạng tiếp theo là sự phổ biến nhanh chóng và mạnh mẽ của công nghệ cảm ứng đa điểm, dẫn đầu bởi thiết bị di động mang tính cách mạng iPhone của Apple. Cảm ứng đa điểm cho phép tƣơng tác ngƣời-máy thông qua chạm và vuốt trên màn hình cảm ứng. Công nghệ này đã thay đổi hoàn toàn tƣ duy cũ của thời đại máy tính cá nhân, và đã loại bỏ hẳn bàn phím cứng trên nhiều thiết bị di động lẫn máy tính. Thiết bị Kinect cũng có thể là cuộc cách mạng tiếp theo. Khi Microsoft giới thiệu, họ coi đây là một thiết bị cách mạng trong lĩnh vực trò chơi và giải trí. Microsoft phát hành Kinect nhƣ là một cảm biến gắn thêm vào Xbox 360 và phát triển các game tƣơng tác bằng cử chỉ cơ thể trên hệ máy Xbox. Nhƣng ngay sau đó, ngƣời dùng và các lập trình viên thế giới đã tìm thấy sự thú vị trong việc phát triển các ứng dụng tƣơng tác với máy tính cá nhân sử dụng Kinect và đã bắt tay vào nghiên cứu và ứng dụng thiết bị này trong nhiều lĩnh vực khác nhau. Câu chuyện về quá trình thành và phát triển Kinect là một câu chuyện kể về sự tìm tòi sáng tạo, không ngừng vƣơn lên, không nản lòng khi đối mặt với khó khăn của đội ngũ kỹ sƣ Microsoft. Đây sẽ là một bài học bổ ích cho những cá nhân, tổ chức đang tham gia công tác nghiên cứu khoa học và sáng tạo. Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 2 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh CHƯƠNG 1: TÌM HIỂU MICROSOFT KINECT 1. Giới thiệu về Microsoft Kinect: Hình 1: Thiết bị Microsoft Kinect Kinect là một thiết bị đầu vào có khả năng cảm nhận chuyển động đƣợc tạo ra bởi Microsoft dùng cho dòng sản phẩm chính là máy chơi game Xbox 360 và máy tính chạy hệ điều hành Windows. Kinect có thiết kế tƣơng tự một webcam và là một thiết bị ngoại vi cho máy Xbox 360, nó cho phép ngƣời dùng điều khiển và tƣơng tác với máy Xbox 360 không cần sử dụng thiết bị điều khiển mà thông qua chính những chuyển động tự nhiên của cơ thể bao gồm cử chỉ và giọng nói. Mục đích chính của dự án này là để tăng trải nghiệm của ngƣời chơi khi sử dụng Xbox 360. Phiên bản dành cho hệ điều hành Windows đƣợc phát hành ngày 01/02/2012. Kinect đƣợc phát hành vào ngày 04/11/2010 tại Bắc Mỹ, 10/11/2010 tại Châu Âu, 18/11/2010 tại Úc, New Zealand, Singapore và ngày 20/11/2010 tại Nhật Bản. Kinect đƣợc bán chung một gói với máy Xbox 360 và game Kinect Adventures. Trong 60 ngày đầu tiên, Microsoft đã bán đƣợc hơn 8 triệu sản phẩm Kinect và Kinect đƣợc ghi nhận vào sách kỷ lục thế giới cho danh hiệu “Sản phẩm điện tử tiêu dùng có tốc độ tiêu thụ nhanh nhất thế giới”. Tính đến tháng 01/2012, Microsoft đã bán đƣợc 18 triệu Kinect. Microsoft cũng đã đƣa ra bộ công cụ hỗ trợ lập trình (Software Development Kit – SDK) cho Kinect trên hệ điều hành Windows 7 vào ngày 16/06/2011. Bộ SDK này cho phép lập trình viên có thể xây dựng các ứng dụng tƣơng tác với Kinect bằng các ngôn ngữ C++/CLI, C# hoặc Visual Basic .NET. 2. Lịch sử phát triển: Kinect lần đầu tiên đƣợc giới thiệu vào ngày 01/06/2009 tại triển lãm E3 dƣới tên mã là Project Natal. Theo truyền thống lấy tên thành phố để đặt tên mã của Microsoft, Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 3 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh Project Natal đƣợc lấy tên từ thành phố Natal của Brazil để ghi công Alex Kipman – một giám đốc của Microsoft, ngƣời đã khai sinh ra dự án và cũng là một ngƣời có gốc Brazil. Natal nghĩa là “một cuộc sống mới” với ngụ ý của Microsoft là “sự ra đời của một hệ thống giải trí gia đình mới”. Hình 2: Gian hàng của Microsoft tại triển lãm E3 - 2009 Ba game đã đƣợc trình diễn tại Microsoft‟s E3 2009 Media Briefing là Ricochet, Paint Party và Milo & Kate. Một bản demo cho game Burnout Paradise cũng đƣợc trình diễn bên ngoài Microsoft‟s Media Briefing. Tại E3 2009, công nghệ nhận dạng khung xƣơng cho phép ghi nhận đƣợc 4 ngƣời cùng lúc với 48 điểm xƣơng trên cơ thể ngƣời tại mức 30Hz. Trong quá trình phát triển, đội phát triển đã thử nghiệm nhiều trên game khác nhau để nâng cao khả năng của Kinect. Tiêu biểu là Beautiful Katamari và Space Invaders Extreme, vốn đã đƣợc biểu diễn tại Tokyo Game Show tháng 09/2009. Giám đốc sáng tạo Kudo Tsunoda của Microsoft cho biết việc đƣa hệ thống điều khiển của Kinect vào các game cũ thông qua hệ thống cập nhật phần mềm tự động gặp rất nhiều khó khăn. Kinect ban đầu đƣợc thiết kế riêng một bộ vi xử lý riêng nhƣng đến tháng 01/2010, các thao tác xử lý đƣợc đảm nhận trực tiếp bởi một nhân của bộ vi xử lý Xbox 360′s Xenon CPU. Alex Kipman cho biết Kinect sẽ chiếm 10-15% tài nguyên của Xbox 360. Ngày 13/06/2010, Microsoft mở hội nghị “World Premiere „Project Natal‟ for the Xbox 360 Experience” tại Galen Center. Tại đây Project Natal đã có tên gọi chính thức là Kinect, vốn là sự kết hợp giữa “kinetic” (chuyển động) và “connect” (kết nối), cũng Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 4 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh chính là mục tiêu mà thiết bị hƣớng tới. Microsoft cũng đã thông báo ngày phát hành tại Bắc Mỹ là 4/11/2010. Và cũng tại đây, Microsoft đã giới thiệu một thiết kế mới của Xbox 360 tƣơng thích hoàn toàn với Kinect. Ngày 16/06/2011, Microsoft chính thức phát hành bộ công cụ phát triển phần mềm phi thƣơng mại cho Kinect. Tiếp theo, ngày 01/02/2012 Microsoft chính thức phát hành phiên bản thƣơng mại của bộ công cụ phát triển phần mềm Kinect cho hơn 300 công ty của 25 nƣớc trên toàn thế giới. 3. Cấu trúc phần cứng của Kinect: Hình 3: Cấu trúc phần cứng bên trong Kinect Kinect đƣợc tạo ra dựa trên 2 nền tảng chính bao gồm nền tảng phát triển công nghệ phần mềm của Rare – một nhánh của bộ phận phát triển game của Microsoft và công nghệ camera đo chiều sâu của hãng PrimeSense tại Israel – một hãng đã phát triển thành công hệ thống có khả năng hiểu đƣợc những chuyển động xác định và dùng nó để điều khiển các thiết bị điện tử. Kinect đƣợc thiết kế theo cấu trúc một thanh ngang kết nối với một trụ nhỏ bằng một trục cơ đứng nhằm mục đích cho phép camera có thể điều chỉnh góc nhìn lên trên hoặc xuống dƣới vị trí của camera. Thiết bị bao gồm camera ảnh RGB, một bộ cảm biến chiều sâu hình ảnh và một bộ microphone ghi nhận âm thanh đa chiều, tất cả đƣợc vận hành bởi một phần mềm độc quyền. Bộ microphone của Kinect có khả năng xác định vị trí nguồn âm thanh và lọc nhiễu. Các thành phần này của Kinect cung cấp khả năng theo dõi chuyển động toàn cơ thể ngƣời dùng trong không gian 3 chiều, nhận diện khuôn mặt và nhận diện giọng nói. Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 5 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh Hình 4: Lƣới hồng ngoại phát ra từ Kinect Hình 5: Bản đồ chiều sâu của hình ảnh thu về thể hiện bằng màu gradient từ trắng(gần) đến xanh dƣơng(xa) Bộ cảm biến chiều sâu của Kinect bao gồm một máy chiếu hồng ngoại cùng một bộ phận cảm biến CMOS đơn sắc cho phép Kinect có thể ghi nhận hình ảnh 3 chiều dƣới bất kỳ điều kiện ánh sáng nào. Tầm hoạt động của bộ cảm biến chiều sâu này có thể điều chỉnh đƣợc, phần mềm của Kinect có thể tự xác định vùng cảm biến dựa trên gameplay và môi trƣờng vật lý xung quanh ngƣời chơi qua đó loại bỏ những nội thất trong phòng hoặc các vật cản trở tầm hoạt động. Kinect đƣợc Microsoft đăng kí độc quyền cùng với bộ phần mềm cho phép hệ thống có thể nhận biết cử chỉ, khuôn mặt, giọng nói một cách vƣợt bậc. Theo nhƣ các thông tin của các hãng bán lẻ, Kinect có thể ghi nhận 6 ngƣời cùng lúc kể cả hai ngƣời đang chơi để phân tích chuyển động của 20 khớp xƣơng mỗi ngƣời chơi. Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 6 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh Bộ cảm biến hình ảnh Kinect có dữ liệu video đầu ra với frame rate là 30Hz, độ phân giải 32-bit VGA (640×480px). Bộ cảm biến chiều sâu có độ phân giải 16-bit QVGA (320×240px với độ sâu 65,536 mỗi pixel) và có tầm hoạt động thực tế là từ 1.2 đến 3.5 mét. Kinect có góc quan sát là 57° theo trục ngang và 43° theo trục dọc, trong khi đó trục cơ đứng có thể nghiêng lên xuống 27°. Bộ microphone bao gồm 4 microphone riêng lẻ cho phép Kinect ghi nhận và xử lý âm thanh dƣới dạng 16-bit với tần số trung bình là 16 kHz. Hình 6: Microsoft Kinect sau khi đƣợc tháo rời hoàn toàn Kinect cần nhiều điện năng để hoạt động nên cổng USB của Xbox 360 không thể đáp ứng mà phải qua một adapter để chia thành 2 kết nối riêng là USB và kết nối nguồn, giúp cho thiết bị sẽ kết nối với Xbox 360 bằng cổng USB trong khi nguồn điện sẽ đƣợc lấy từ bo mạch của Xbox qua đƣờng AC adapter. Phiên bản Xbox 360 mới sẽ không cần adapter vì nó có các AUX port đặc biệt để cung cấp cho cổng kết nối. 4. Cấu trúc của Kinect SDK: Microsoft cung cấp bộ thƣ viện lập trình để giúp các lập trình viên sử dụng các dữ liệu ngôn ngữ tự nhiên của cơ thể trong thời gian thực. Hình 7: Phần cứng và phần mềm của Kinect tƣơng tác với một ứng dụng Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 7 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh Các thành phần của SDK đƣợc thể hiện trong hình sau: Hình 8: Cấu trúc ứng dụng Kinect để phát triển ứng dụng trên Kinect SDK Các thành phần của SDK đƣợc thể hiện trong hình trên bao gồm: - Phần cứng: Các thành phần của phần cứng, bao gồm các bộ cảm biến Kinect và cổng USB mà thông qua đó cảm biến đƣợc kết nối với máy tính. - Trình điều khiển Kinect: Các trình điều khiển của Windows 7 cho bộ cảm biến Kinect đã đƣợc cài đặt theo SDK. Trình điều khiển này hỗ trợ: o Các cảm biến microphone của Kinect nhƣ các thiết bị âm thanh chuẩn, bạn có thể truy cập thông qua các API âm thanh tiêu chuẩn trong Windows. o Truyền dữ liệu hình ảnh bình thƣờng và hình ảnh dạng chiều sâu. o Cho phép một ứng dụng sử dụng nhiều hơn một cảm biến Kinect đƣợc kết nối với máy tính. o NUI API: Một tập hợp các API để lấy dữ liệu từ các cảm biến hình ảnh và điều khiển các thiết bị Kinect. o KinectAudio DMO: Khả năng xử lý âm thanh bao gồm loại bỏ tiếng ồn và tiếng vang, hình thành chùm tia để xác định nguồn âm thanh, và tích hợp với các hàm API nhận dạng giọng nói của Windows. o Các API chuẩn trong Windows 7: Các bộ thƣ viên về âm thanh, lời nói, và đa phƣơng tiện nhƣ mô tả trong Windows 7 SDK và Microsoft Speech SDK. Video Components Audio Components Windows components 1 2 3 5 4 Kernel-mode drivers for Kinect for Windows DMO codec for mic array Applications Kinect for Windows SDK User-created components USB Hub Windows Core Audio and Speech APIs Device setup Audio stream controlVideo stream control WinUSB device stack USBAudio audio stackWinUSB camera stack Motor Audio mic arrayCameras NUI API A/V capture and transcoding Media Foundation | DirectShow User Mode Kernel Mode Kinect sensor Hardware Device access Tiểu luận PPLSTKH: Quá trình hình thành và phát triển của Microsoft Kinect Trang 8 GVHD: GS. TS. Hoàng Văn Kiếm Học viên: Nguyễn Phƣơng Anh CHƯƠNG 2: CÂU CHUYỆN BÍ MẬT VỀ SỰ PHÁT TRIỂN KINECT Vào giữa năm 2007, Don Mattrick – ngƣời phụ trách kinh doanh giải trí tƣơng tác của Microsoft ở Redmond – Washington đã đƣa ra yêu cầu về một hƣớng phát triển mới cho sản phẩm Xbox 360. Trong một buổi họp hoạch định chiến lƣợc, Marc Whitten, phó giám đốc điều hành Xbox live đã giải thích rằng họ sẽ phải thay đồ