Khóa luận Xây dựng hệ thống nhận biết ngôn ngữ dấu hiệu sử dụng cảm biến vi cơ điện tử

Đinh Duy Chương Khóa luận tốt nghiệp ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đinh Duy Chương XÂY DỰNG HỆ THỐNG NHẬN BIẾT NGÔN NGỮ DẤU HIỆU SỬ DỤNG CẢM BIẾN VI CƠ ĐIỆN TỬ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Điện tử - Viễn thông HÀ NỘI – 2005 1 Đinh Duy Chương Khóa luận tốt nghiệp ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Đinh Duy Chương XÂY DỰNG HỆ THỐNG NHẬN BIẾT NGÔN NGỮ DẤU HIỆU SỬ DỤNG CẢM BIẾN VI CƠ ĐIỆN TỬ KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Điện tử - Viễn thông Cán bộ hướng dẫn: TS. Nguyễn Thăng Long HÀ NỘI – 2005 2 Đinh Duy Chương Khóa luận tốt nghiệp Lời cảm ơn! Trước tiên em xin gửi lời cảm ơn chân thành tới GS. TSKH Nguyễn Phú Thùy, người đã dìu dắt, hướng dẫn em trong suốt thời gian làm khoá luận. Sau đó em xin bày tỏ lòng biết ơn tới TS Nguyễn Thăng Long với kinh nghiệm và lòng nhiệt tình đã trực tiếp dạy bảo, kịp thời động viên em những lúc khó khăn. Qua đây, em cũng xin cảm ơn các anh cùng các bạn trong bộ môn “Vi cơ điện tử và vi hệ thống” đã tạo điều kiện thuận lợi để em hoàn thành bài khoá luận này. Em xin chân thành cảm ơn ! Hà Nội tháng 06 năm 2005 Đinh Duy Chương 3 Đinh Duy Chương Khóa luận tốt nghiệp Tóm tắt nội dung khoá luận Trong đề tài này trước tiên là tìm hiểu đề tài, thế nào là ngôn ngữ dấu hiệu. Tiếp theo là tìm hiểu các phương pháp nhận biết ngôn ngữ dấu hiệu, biết được ưu nhược điểm của các phương pháp, từ đó sẽ lựa chọn phương pháp nhận biết dùng trong đề tài. Trong đề tài này em chọn phương pháp sử dụng cảm biến vì phương pháp này có những ưu điểm rất phù hợp với Việt Nam. Phương pháp này đầu tiên là tìm hiểu về các thiết bị được sử dụng trong đề tài. Các thiết bị này là: sensor gia tốc, vi điều khiển BasicStamp và cách thức kết nối vi điều khiển với sensor và máy tính PC. Khi tìm hiểu về các thiết bị như sensor thì vấn đề đặt ra là phải chuẩn hoá chúng, tiếp đó là xây dựng phần cứng cho hệ thống nhận biết dấu hiệu. Và một yếu tố quan trọng nữa là viết phần mềm cho vi điều khiển và trên máy tính để nhận biết dấu hiệu. Cụ thể trong đề tài này em đã tìm hiểu được nguyên tắc hoạt động của sensor ADXL202, vi điều khiển BasicStamp và một số ngôn ngữ để nhận biết dấu hiệu. Phần thực hành đã chuẩn hoá được các sensor, bước đầu xây dựng được một hệ nhận biết đơn giản. 4 Đinh Duy Chương Khóa luận tốt nghiệp MỤC LỤC Chương 1. TỔNG QUAN .........................................................................................7 1.1. Ngôn ngữ dấu hiệu ..........................................................................................7 1.1.1. Ngôn ngữ dấu hiệu là gì ?........................................................................7 1.1.2. Một số chuẩn trên thế giới và Việt Nam .................................................8 1.1.3. Mục tiêu của khoá luận............................................................................9 1.2. Các phương pháp nhận biết ngôn ngữ dấu hiệu ............................................10 1.2.1. Nhận biết ngôn ngữ bằng phân tích hình ảnh........................................10 1.2.2. Nhận biết bằng cảm biến .......................................................................15 1.2.3. Nguyên tắc vận hành của việc sử dụng cảm biến..................................16 1.2.4. So sánh hai phương pháp.......................................................................25 Chương 2. TÌM HIỂU VỀ CẢM BIẾN VÀ VI ĐIỀU KHIỂN ..............................26 2.1. Tìm hiểu về cảm biến gia tốc ........................................................................26 2.1.1. Nguyên lý làm việc của cảm biến .........................................................26 2.1.2. Sensor gia tốc ADXL202 ......................................................................26 2.1.3. Phương pháp chuẩn ...............................................................................31 2.2. Tìm hiểu về vi điều khiển BasicStamp..........................................................32 2.2.1. Nguyên lý vận hành...............................................................................32 2.2.2. Phần cứng ..............................................................................................32 2.2.3. Ngôn ngữ BasicStamp...........................................................................34 Chương 3. XÂY DỰNG THIẾT BỊ GĂNG TAY CẢM NHẬN GIA TỐC ..........35 3.1. Thiết kế phần cứng ........................................................................................35 3.2. Chuẩn hoá sensor...........................................................................................36 3.3. Xây dựng phần mềm .....................................................................................40 3.3.1. Viết chương trình cho vi điều khiển BasicStamp..................................40 3.3.2. Chương trình trên máy tính ...................................................................40 5 Đinh Duy Chương Khóa luận tốt nghiệp Mở đầu Hiện nay trên thế giới cũng như ở Việt Nam người ta có thể giao tiếp với nhau bằng nhiều phương tiện, đặc biệt như: qua mạng Internet, mạng điện thoại. Những phương tiện đó chỉ áp dụng khi cách trở về mặt địa lý. Còn bình thường khi gần nhau người ta giạo tiếp với nhau bằng ngôn ngữ nói thông thường. Việc giao tiếp đối với người bình thường thì không có vấn đề gì. Nhưng đối với những người khiếm thính thì lại là chuyện khác. Người khiếm thính họ nói chuyện với nhau chủ yếu bằng cử chỉ, hành động. Đặc biệt những người bình thường muốn hiểu được họ nói gì thì không phải chuyện dễ dàng. Quan trọng nhất là việc học tập của những người khiếm thính cũng gặp rất nhiều khó khăn. Do đó đề tài này em muốn xây dựng một thiết bị nhận biết ngôn ngữ dấu hiệu để giúp cho việc giao tiếp và học tập của những người khiếm thính được dễ dàng hơn. Giúp cho họ có thể hoà nhập vào cuộc sống như những người bình thường. Hà Nội tháng 06 năm 2005 Đinh Duy Chương 6 Đinh Duy Chương Khóa luận tốt nghiệp Chương 1. TỔNG QUAN 1.1. Ngôn ngữ dấu hiệu 1.1.1. Ngôn ngữ dấu hiệu là gì ? 9 Hiểu một cách đơn giản thì ngôn ngữ dấu hiệu chính là những cử chỉ, hành động của con người, những động tác của tay hoặc có thể là của một bộ phận nào đó trên cơ thể con người. Chính từ những cử chỉ hành động đó mà người ta có thể hiểu được và giao tiếp với nhau. 9 Khi nghiên cứu về ngôn ngữ dấu hiệu ta cũng đặt một câu hỏi là tại sao phải nghiên cứu ngôn ngữ dấu hiệu. Câu trả lời là để giao tiếp với những người khiếm thính và ngoài ra có thể có một số ứng dụng đặc biệt khác. 9 Với những người khiếm thính thường gắn liền với bệnh câm. Do đó giao tiếp của họ rất hạn chế. Trong hoàn cảnh như vậy những họ vẫn tìm cách để nói chuyện với nhau, một cách đơn giản là họ sẽ dùng hình thức viết chữ để nói chuyện với nhau. Mặc dù vậy việc này thường rất mất thời gian đôi khi còn bất tiện. Để giải quyết vấn đề trên họ đã đưa ra một ngôn ngữ gọi là ngôn ngữ dấu hiệu tức là họ không giao tiếp với nhau như những người bình thường mà dùng những cử chỉ hành động của mình để nói cho người khác hiểu. 9 Trên thực tế việc học đối với những người khiếm thính là rất khó khăn. Như ngày nay ở Việt Nam việc phổ cập giáo dục cho những người khiếm thính đã được quan tâm, nhưng vẫn còn rất hạn chế. Vì chỉ với việc phổ cập mức tiểu học phải kéo dài ít nhất là 9 năm. Nên đối việc phổ cập mức cao hơn là rất khó khăn. Đối với những người trước khi bị khiếm thính lại không biết chữ thì đòi hỏi việc đào tạo lại càng khó khăn hơn. 9 Ngôn ngữ dấu hiệu chỉ được sử dụng trong một phạm vi hẹp nên rất ít người bình thường hiểu được ngôn ngữ này. Điều này tạo nên một rào cản lớn trong giao tiếp giữa người khiếm thính và người bình thường. Người khiếm thính và người câm sẽ khó có cơ hội hoà nhập vào cộng đồng người bình thường. 9 Trên thế giới, hiện đã có nhiều nghiên cứu nhằm xây dựng các thiết bị có thể trợ giúp sự giao tiếp giữa những người khiếm thính và những người bình thường. 7 Đinh Duy Chương Khóa luận tốt nghiệp Trong khi đó, ở Việt Nam, hiện chưa có các nghiên cứu dành cho những người khiếm thính. 9 Xuất phát điểm từ đó trong đề tài này em muốn tìm hiểu và bước đầu xây dựng một hệ thống nhận biết dấu hiệu để giao tiếp với những người khiếm thính. Và từ đó giao tiếp giữa những người khiếm thính và những người bình thường được cải thiện hơn. Ngoài ra, thiết bị cũng có thể dùng trong mục đích học tập cho người khiếm thính. 1.1.2. Một số chuẩn trên thế giới và Việt Nam 9 Để thống nhất trong giao thiếp, ngôn ngữ dấu hiệu cũng có những chuẩn nhất định. Trên thế giới phổ biến nhất là ngôn ngữ ASL (American Sign Languague) của Mỹ. Với chuẩn này các chữ trong bảng chữ cái và các số tự nhiên được mã hoá hết sức đơn giản. Trong khi đó, các từ được mã hoá phức tạp hơn nhiều. Mỗi từ (khái niệm) được miêu tả bởi 5 đặc tính của ký hiệu: hình dạng bàn tay, vị trí bàn tay so với cơ thể người, hướng của bàn tay, chuyển động của bàn tay và ngón tay, biểu hiện của nét mặt và cơ thể. Hình 1a: Dấu hiệu của các chữ cái trong bảng chữ cái Hình 1b: Dấu hiệu của các chữ số tự nhiên 9 Với các quốc gia khác nhau lại có những đặc trưng ngôn ngữ khác nhau. Vì vậy, mỗi quốc gia thường có chuẩn riêng cho mình. Chuẩn ngôn ngữ dấu hiệu của Việt Nam về cơ bản là giống chuẩn của Mỹ tuy nhiên cũng có một số khác biệt. Đó là sự thêm vào đó những con dấu và có thêm một số chữ cái khác mà trong bảng trên không có như chữ Ô, Ơ, Ư, Ê, Â. Do đó ta phải tổ hợp thêm một số cử chỉ khác nữa để phân 8 Đinh Duy Chương Khóa luận tốt nghiệp biệt các chữ cái và các con số. Và một số chữ số của ta cũng khác với chữ số trong bảng trên. Hình 2: Bảng chữ cái và chữ số tiếng Việt 1.1.3. Mục tiêu của khoá luận Một thiết bị nhận biết và chuyển đổi ngôn ngữ dấu hiệu sang ngôn ngữ thông thường có thể được xây dựng theo hai phương pháp: 9 Đinh Duy Chương Khóa luận tốt nghiệp o Phương pháp nhận biết từng từ: Phương pháp này có ưu điểm là tốc độ chuyển đổi nhanh, tiện cho người sử dụng nhất. Tuy nhiên, việc xây dựng một hệ thống như vậy rất phức tạp ví dụ như: • Cần nhiều tham số đầu vào • Thuật toán xử lý phức tạp • Đòi hỏi phải có bộ từ điển • Khi có từ mới thì phải huấn luyện cho hệ thống trước o Phương pháp đánh vần: Người sử dụng sẽ đánh vần theo bảng chữ cái. Phương pháp này có nhược điểm là tốc độ chuyển đổi sẽ chậm hơn nhiều phương pháp dùng từ. Tuy nhiên, nó có một số ưu điểm sau: • Tham số đầu vào không nhiều • Có thể dùng các thuật toán tương đối đơn giản • Có thể tạo ra các từ tuỳ ý mà không cần bộ từ điển Từ các phân tích trên, ta thấy rằng phương pháp đánh vần có khả năng dễ dàng tích hợp với các bộ vi xử lý để tạo nên các thiết bị nhỏ gọn, tiện dụng cho người sử dụng. Phương pháp này cũng là tiền đề cho việc xây dựng các thiết bị sử dụng phương pháp nhận biết từng từ. Vì vậy, trong khoá luận này, em tập trung vào việc tìm hiểu xây dựng một hệ thống nhận biết ngôn ngữ dấu hiệu sử dụng phương pháp đánh vần. 1.2. Các phương pháp nhận biết ngôn ngữ dấu hiệu Để xây dựng được một hệ thống nhận biết ngôn ngữ dấu hiệu, trước hết, em xin trình bày về các phương pháp nhận biết đang được nghiên cứu trên thế giới. 1.2.1. Nhận biết ngôn ngữ bằng phân tích hình ảnh 1.2.1.1. Giới thiệu về phương pháp phân tích hình ảnh Nhận biết ngôn ngữ dấu hiệu qua video (camera) từ xa là một yêu cầu trực quan. Để đưa ra mã hình ảnh thành ngôn ngữ dấu hiệu, cần thiết phải tìm những vùng có thông tin về hình ảnh. Camera sẽ dõi sự di chuyển của những người khiếm thính và sẽ lọc ra chuỗi hình ảnh ngôn ngữ dấu hiệu phù hợp. 10 Đinh Duy Chương Khóa luận tốt nghiệp 1.2.1.2. Đặc điểm của phương pháp này 9 Người khiếm thính sử dụng phương tiện ngôn ngữ dấu hiệu để đọc và viết chính tả. Nhận biết ngôn ngữ dấu hiệu được dựa trên hình ảnh và sự di chuyển của tay. Cấu trúc trực quan của ngôn ngữ dấu hiệu có thể truyến đạt những khái niệm phức tạp nhanh chóng và chính xác. 9 Việc đề cập nhận biết trực quan là rất quan trọng cho những người khiếm thính vì khả năng của ngôn ngữ dấu hiệu là ở khoảng cách, tuỳ thuộc vào khoảng cách mà cho ta sự nhận biết chính xác hay không chính xác. Tuy nhiên vẫn có lỗi và hệ thống này có thể gây khó chịu cho người sử dụng. 9 Ngôn ngữ dấu hiệu cập nhật không nhanh, sự di chuyển cụ thể đưa ra những khái niệm và những từ . Trong những lần thực nghiệm đã đưa ra dấu hiệu hình ảnh của những từ ứng với miệng và ngôn ngữ cử chỉ. Hình dưới chỉ ra 2 khung từ 1 video clip của ngôn ngữ dấu hiệu (BSL). Hình 3: Các video clip 1.2.1.3. Phương thức 9 Thí nghiệm với 8 người khiếm thính. Trong suốt quá trình thực nghiệm hướng nhìn của mỗi người được ghi vào một video clip. 11 Đinh Duy Chương Khóa luận tốt nghiệp 9 Từ việc kiểm tra video clip hình 3. Video clip đã được đưa ra trên màn hình PC và người xem clip từ khoảng cách cố định. Sự di chuyển được ghi lại trong suốt quá trình xem sử dụng một hệ thống nhìn “Quick Glance”. Hệ thống này sử dụng tia hồng ngoại để ghi lại hình ảnh ở tốc độ 30Hz. 9 Hướng nhìn được ghi lại dưới dạng một file text và file này tương ứng với 2 phút video clip trong quá trình phân tích. 1.2.1.4. Kết quả của việc phân tích hình ảnh 9 Về mặt không gian: Việc đặt toạ độ (x,y) cho 3 sự kiện (User A, User B, User C, và các vấn đề liên quan đến khiếm thính) được thể hiện trên hình 4, hình 5, hình 6 User A Hình 4: Phân vùng trong không gian của User A User B Hình 5: Phân vùng trong không gian của User B 12 Đinh Duy Chương Khóa luận tốt nghiệp User C Hình 6: Phân vùng trong không gian của User C 9 Hình này tương ứng với video clip thứ hai, kết quả tương tự như video clip thứ nhất. Quan sát sự di chuyển của 8 vật thể sẽ biết được những điểm giống nhau. Trong mỗi trường hợp, việc quan sát được tập trung trên bề mặt của dấu hiệu video clip, thỉnh thoảng có sự trệch tới những vùng khác nhau phổ biến trên trục X qua bề mặt của dấu hiệu (User A và User C). Hai vật thể (một trong những vật thể đó là User B) là trung tâm rất chuẩn xác với một vài sự trệch hướng. Độ chính xác là 10x10 pixel trong mỗi một hình ảnh. Những điểm chính xác chủ yếu là quanh bề mặt trung tâm của dấu hiệu. 9 Hình 8 chỉ ra trung tâm User B, được phủ vói những vòng đưa ra mô tả góc quay quanh một điểm trung tâm Hình 7: Với User B 13 Đinh Duy Chương Khóa luận tốt nghiệp 9 Vòng tròn là tâp trung vị trí trung bình của tất cả các mẫu và được vẽ ở góc cố định 2.5o, 5o và 10o từ trung tâm và được làm sạch từ hình này. Phần lớn điểm quan sát nằm trong khoảng 2.5o của trung tâm: hơn 75% các điểm rơi vào vòng tròn này với User A và C, hơn 90% cho User B. 9 Về mặt thời gian: Hình 8 chỉ ra hình ảnh của User A trong video clip thứ hai. Giá trị trung bình của trục Y là 185 và những điểm làm sạch được chỉ ra. Hướng nhìn được tập trung chủ yếu quanh vị trí này, thỉnh thoảng cũng có sự sai khác. Sự sai khác này là từ phần cuối đặc trưng ít hơn 0.5 giây và được tập trung trong trục X thông qua điểm trung tâm. Trong chuỗi hình ảnh, dấu hiệu được nhìn thấy bên dưới Hình 8: Tín hiệu thu được từ hình ảnh 1.2.1.5. Phân tích hệ số dư thừa 9 Kiểm tra video clip được mã hoá sử dụng mã hoá Baseline H.263 ( với bước lượng tử cố định là 8) và số hệ số non-zero vẫn trong mỗi block sau sự bù chuyển động, DCT và bước lượng tử được đếm. Hình 9 mô tả tổng số hệ số lượng tử dư thừa non-zero trong mỗi vị trí block cho những khung inter-code 200 của chuỗi. 14 Đinh Duy Chương Khóa luận tốt nghiệp Hinh 9: Hệ số dư thừa 9 Hình trên còn chỉ ra hệ số non-zero được tập trung quanh đầu, trên cơ thể và cánh tay của người ra dấu hiệu. Điều này có thể được đáp ứng từ vị trí camera và người ra hiệu không thể di chuyển tới vị trí đứng của họ trong chuỗi . Tuy nhiên sự tập trung cao của hệ số non-zero ở những vùng trái và phải thấp hơn của chuỗi. Người ra hiệu di chuyển cánh tay của họ tới một số vị trí nhưng năng lượng dư thừa phần lớn giảm xuống từ sự di chuyển tay trong hai vùng này. Hệ số năng lượng dư thừa trong vùng này liên quan tới mức thấp. 1.2.1.6. Kết luận Từ kết quả thực nghiệm người sử dụng ngôn ngữ dấu hiệu đã đưa ra một sự phù hợp trong phương pháp nhận biết của họ, điều này phù hợp với tất cả các vật thể và tương ứng với sự quan sát trong khi nghiên cứu ngôn ngữ dấu hiệu. Việc chọn vị trí sẽ cải thiện chất lượng của việc mã hoá chuỗi ngôn ngữ dấu hiệu hình ảnh. Sự quan tâm của người sử dụng là tập trung trên những vùng có đặc điểm tốt quanh người ra hiệu, với những cử chỉ bất ngờ của tay người. Những dấu hiệu này có thể dành những vùng ưu tiên của hình ảnh có trong không gian và biểu thị thời gian. 1.2.2. Nhận biết bằng cảm biến Ở đây người ta dùng một hệ gồm nhiều sensor gắn với vi điều khiển và máy tính. Thiết bị này được mô ta bởi hình sau. 15 Đinh Duy Chương Khóa luận tốt nghiệp Hình 10: Sơ đồ kết nối hệ đo với vi điều khiển và máy tính Hệ nhận biết bằng cảm biến bao gồm các thành phần: 9 Một máy tính PC 9 Một vi điều khiển 9 Hệ thống loa 9 Hệ sensor 1.2.3. Nguyên tắc vận hành của việc sử dụng cảm biến 1.2.3.1. Hệ thống 9 Hệ sensor sẽ truyền tín hiệu cho vi điều khiển. Vi điều khiển sẽ đọc tín hiệu này và truyền dữ liệu cho máy tính sử lý và kết quả sẽ được đưa ra loa. Hoặc hiển thị dạng text. 9 Cụ thể là từ tín hiệu xung của hệ sensor vi điều khiển sẽ đọc tín hiệu đó và xử lý, tiếp theo vi điều khiển sẽ gửi dữ liệu dưới dạng ASCII cho máy tính qua cổng COM. 9 Thành phần của hệ thống là Accele Glove, cung cấp cách đo vị trí của các ngón tay tương ứng với véc tơ trọng trường. 9 Bằng việc sử dụng lối ra số của sensor gia tốc MEMS gắn trên các ngón tay và sử dụng vi điều khiển. Máy tính PC được sử dụng cho việc phân tích dữ liệu và thực hiện các thuật toán. Khi lập trình với các thuật toán, vi điều khiển sẽ chuyển tới bộ tạo ngưỡng tiếng nói với những ký tự ASCII, bởi vậy mà trên thực tế người ra hiệu những từ “speaks out” và những câu ngắn. 16 Đinh Duy Chương Khóa luận tốt nghiệp 1.2.3.1.1. Định vị sensor Tay người có 17 điểm tích cực trên cổ tay: 3 trên mỗi ngón trỏ, ngón giữa, ngón nhẫn và ngón út, 3 trên ngón cái và pitch roll trên cổ tay. Những điểm cần thiết giữa những dấu hiệu là nhân tố chủ yếu, nếu hệ thống có thông tin đầy đủ, không rõ ràng sẽ giảm tốc độ nhận dạng. Gắn liền với 5 trục sensor trên đầu ngón tay, những điểm của ngón tay và điểm đầu của ngón tay cái, ngoại trừ tình trạng có nhiều nghĩa cho 26 dáng điệu của bảng chữ cài ASL. Việc định vị trục được chỉ ra trên hình sau: Hình 11: Các trục trên sensor khi gắn lên tay 1.2.3.1.2. Tín hiệu thu được Vị trí đọc được là chu kỳ của tín hiệu lối ra. Khi một sensor ở vị trí ngang chu kỳ là 50%. Khi góc nghiêng của nó từ +90o tới –90o chu kỳ biến đổi từ 37.5% tới 62.5%. Vi điều khiển giám sát lối ra và đo trong khoảng thời gian lối ra ở mức cao, nếu sử dụng bộ đếm 10 ms thì giải đo được sẽ là từ (375/10) = 37 count với 90o tới tối đa là (625/10) = 62 count với –90o, một span là 25 count. Sự không tuyến tính và bão hoà hai đặc tính này của thiết bị làm giảm dải sử dụng xuống còn . Vì thế độ phân giải là 6.5 o80± o. Lỗi của một số lần đo được tìm thấy là 1± bít, hay . Sai số này lớn hơn so với Wise (5 o5.6± o) và nhỏ hơn Quam (11o). CyberGlove có thể được hiệu chỉnh đo những dải khác nhau của những biến tố sử dụng 8 bit, nhưng độ chính xác bị giảm xuống, giảm sự lặp lại. 1.2.3.1.3. Thu thập dữ liệu 9 Độ rộng 10 xung được đọc bởi vi điều khiển, bắt đầu với trục X tiếp theo là Y lần đầu là ngón cái. Đưa ra 10 ms là tập trung tất cả các vị trí của ngón tay. Trong suốt quá trình phân tích trạng thái của các ngón tay thì vị trí được gửi như một gói dữ liệu 10 byte qua cổng nối tiếp của PC và được ghi lại