Đề tài Nghiên cứu ứng dụng công cụ khai phá dữ liệu trong bài toán về giao dịch tỷ giá

TRƢỜNG ĐẠI HỌC THƢƠNG MẠI BỘ MÔN TIN HỌC  ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƢỜNG NGHIÊN CỨU ỨNG DỤNG CÔNG CỤ KHAI PHÁ DỮ LIỆU TRONG BÀI TOÁN VỀ GIAO DỊCH TỶ GIÁ Ngƣời thực hiện: TS. Nguyễn Thị Thu Thủy HÀ NỘI – 2018 2 MỤC LỤC MỤC LỤC .................................................................................................................................. 2 DANH MỤC HÌNH VẼ ............................................................................................................ 3 CHƢƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU. ........................................................... 5 1.1. Tính cấp thiết của đề tài. .................................................................................................. 5 1.2. Tổng quan vấn đề nghiên cứu. ......................................................................................... 5 1.3. Mục tiêu cụ thể đặt ra cần giải quyết trong đề tài. ........................................................... 6 1.4. Đối tƣợng và phạm vi nghiên cứu đề tài ......................................................................... 7 1.5. Phƣơng pháp thực hiện đề tài. ......................................................................................... 8 1.6. Bố cục của đề tài. ............................................................................................................. 8 Chƣơng 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ BÀI TOÁN GIAO DỊCH NGOẠI HỐI ........................................................................................................................................... 10 2.1 Một số khái niệm cơ bản ................................................................................................. 10 2.1.1 Các khái niệm về khai phá dữ liệu ........................................................................... 10 2.1.2 Các khái niệm liên quan đến giao dịch ngoại hối .................................................... 16 2.2. Một số công cụ khai phá dữ liệu .................................................................................... 18 2.2.1. Công cụ học có giám sát ......................................................................................... 18 2.2.2. Công cụ học không giám sát ................................................................................... 24 2.3. Bài toán giao dịch ngoại hối .......................................................................................... 25 CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KHAI PHÁ DỮ LIỆU TRONG BÀI TOÁN GIAO DỊCH TỶ GIÁ .......................................................................................................................... 26 3.1. Mô hình khai phá dữ liệu trong bài toán giao dịch tỷ giá .............................................. 26 3.2 Thu thập và xử lý dữ liệu ................................................................................................ 27 3.2.1. Thu thập và tiền xử lý dữ liệu ................................................................................. 27 3.2.2. Phân chia tập huấn luyện ......................................................................................... 28 3.3. Kết quả thực nghiệm ...................................................................................................... 30 3.3.1. Data ......................................................................................................................... 30 3.3.2. Sử dụng phƣơng pháp SVM ................................................................................... 32 3.3.3. Sử dụng phƣơng pháp Cây quyết định J48 ............................................................. 35 3.3. Thảo luận ....................................................................................................................... 41 KẾT LUẬN VÀ KIẾN NGHỊ .................................................................................................. 43 Kết luận .................................................................................................................................... 43 Một số kiến nghị ...................................................................................................................... 43 3 DANH MỤC HÌNH VẼ Hình 1: Các lĩnh vực liên quan của khai phá dữ liệu ............................................................... 11 Hình 2: Quy trình khai phá dữ liệu .......................................................................................... 11 Hình 3: Cấp độ hỗ trợ việc ra quyết định kinh doanh và ngƣời thực hiện. .............................. 14 Hình 4: Lịch hoạt động của các trung tâm giao dịch ngoại hối .............................................. 17 Hình 5: Mô hình của học giám sát ........................................................................................... 20 Hình 6: Cây quyết định của tập dữ liệu huấn luyện ở Bảng 1 ................................................. 22 Hình 7: Ví dụ về mô hình SVM .............................................................................................. 23 Hình 8: Mô hình học có giám sát khai phá dữ liệu của bài toán giao dịch tỷ giá .................... 26 Hình 9: Đồ thị hàm biến đổi giá trị thành .............................................................. 28 Hình 10: Biến động của tỷ giá USD/VND trong khoảng thời gian 1 năm .............................. 30 Hình 11: Thống kê dữ liệu output ............................................................................................ 31 Hình 12:: Phân bố của tỉ giá Close tại các thời điểm. .............................................................. 31 Hình 13: Phân bố của giao dịch Close ...................................................................................... 32 Hình 14: Mô hình sử dụng ....................................................................................................... 33 Hình 15: Đồ thị lỗi của mô hình dự báo SVM ......................................................................... 35 Hình 16: 1 dòng giao dịch bị dự báo sai .................................................................................. 35 Hình 17: Mô hình khung công việc J48 ................................................................................... 37 Hình 18: Độ chính xác của Kỹ thuật SVM và DT.................................................................... 42 4 LỜI MỞ ĐẦU Ngày nay, với sự phát triển mạnh mẽ của khoa học kỹ thuật, các thế hệ máy tính đã trở nên mạnh mẽ hơn, khả năng tính toán và xử lí thông tin ngày càng nhanh hơn. Bên cạnh sự phát triển của khoa học kỹ thuật là sự bùng nổ thông tin dẫn tới lƣợng dữ liệu có thể thu thập đƣợc ngày càng lớn. Không thể phủ nhận khả năng đặc biệt của con ngƣời trong việc phân tích thông tin để rút ra tri thức, kinh nghiệm cho mình. Tuy nhiên, con ngƣời cần những công cụ hỗ trợ có thể tự động phân tích, khai thác thông tin để có thể tìm ra những tri thức trong đó, từ đó có thể ra quyết định tự động hoặc hỗ trợ con ngƣời trong việc ra quyết định. Trong giao dịch ngoại hối, việc dự báo đƣợc xu hƣớng tỷ giá của từng cặp ngoại hối mà mình sẽ giao dịch là rất quan trọng. Việc dự báo này sẽ giúp nhà đầu tƣ đƣa ra đƣợc chiến lƣợc giao dịch phù hợp, tăng khả năng mang lại lợi nhuận và hạn chế thấp nhất nguy cơ rủi ro có thể xảy ra. Tỷ giá của mỗi cặp tiền tệ thay đổi theo thời gian và hoàn toàn có thể thu thập, lƣu trữ lại thông qua lịch sử giá. Việc phân tích dự báo xu hƣớng tỷ giá của mỗi cặp ngoại hối trong tƣơng lai thƣờng sẽ dựa vào chính những bộ dữ liệu quá khứ này. Việc giao dịch thủ công thƣờng có nhiều hạn chế nhƣ: hạn chế về độ chính xác, hạn chế về thời gian theo dõi Việc ứng dụng các mô hình giao dịch sẽ có nhiều ƣu thế hơn: đó là khả năng xử lý chính xác, kịp thời, khả năng giám sát liên tục và không bị ảnh hƣởng bởi yếu tố tâm lý. Nhìn chung, hƣớng tiếp cận cho bài toán dự báo xu hƣớng tỷ giá ngoại hối là xây dựng một mô hình học có giám sát, huấn luyện bằng dữ liệu quá khứ và áp dụng để dự báo xu hƣớng trong tƣơng lai. Các công trình đã nghiên cứu trên thế giới chủ yếu dừng ở việc công bố kết quả nghiên cứu, còn tại Việt Nam, các công trình nghiên cứu về dự báo xu hƣớng ngoại hối cũng chƣa có nhiều, đặc biệt là việc áp dụng vào thực tế. Từ những tìm hiểu trên, có thể thấy việc nghiên cứu một số mô hình học máy cho việc phân tích xu hƣớng ngắn hạn của tỷ giá các cặp ngoại hối và áp dụng vào thực tế với việc cài đặt cho robot giao dịch ngoại hối tự động là một đề tài thực sự có ý nghĩa cho đời sống kinh tế và xã hội. 5 CHƢƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU. 1.1. Tính cấp thiết của đề tài. Trong giao dịch ngoại hối, việc dự báo đƣợc xu hƣớng tỷ giá của từng cặp ngoại hối mà nhà đầu tƣ sẽ giao dịch là rất quan trọng. Việc dự báo này sẽ giúp nhà đầu tƣ đƣa ra đƣợc chiến lƣợc giao dịch phù hợp, tăng khả năng mang lại lợi nhuận và hạn chế thấp nhất nguy cơ rủi ro có thể xảy ra. Tỷ giá của mỗi cặp tiền tệ thay đổi theo thời gian và hoàn toàn có thể thu thập, lƣu trữ lại thông qua lịch sử giá. Việc phân tích dự báo xu hƣớng tỷ giá của mỗi cặp ngoại hối trong tƣơng lai thƣờng sẽ dựa vào chính những bộ dữ liệu quá khứ này. Quá trình này có thể thực hiện một cách thủ công bằng kinh nghiệm của ngƣời giao dịch hoặc tự động dùng các công cụ chỉ báo kỹ thuật với những quy tắc nhất định (còn gọi là phân tích kỹ thuật). Tuy nhiên việc giao dịch thủ công thƣờng có nhiều hạn chế nhƣ: hạn chế về độ chính xác, hạn chế về thời gian theo dõi, hoặc bởi tâm lý của ngƣời giao dịch trong khi việc sử dụng giao dịch tự động sẽ có nhiều ƣu thế hơn: đó là khả năng xử lý chính xác, kịp thời, khả năng giám sát liên tục và không bị ảnh hƣởng bởi yếu tố tâm lý. Từ nhu cầu thực tế cho thấy việc xây dựng và ứng dụng các mô hình học có giám sát cho robot giao dịch là một hƣớng tiếp cận khả quan và hứa hẹn sẽ mang lại hiệu quả. Bắt kịp với các yêu cầu thực tế về nhân lực trong lĩnh vực phân tích dữ liệu và sử dụng hệ thống thông tin kinh tế, học phần “Khai phá dữ liệu trong kinh doanh” đƣợc xây dựng phục vụ cho việc đào tạo các em sinh viên chuyên ngành quản trị hệ thống thông tin ngành hệ thống thông tin quản lý. Học phần đƣợc xây dựng với thời lƣợng là 3 tín chỉ và bao gồm các nội dung liên quan đến khai phá dữ liệu, mà cụ thể hơn là tập trung nhiều vào các dữ liệu của các bài toán kinh tế. Bài toán giao dịch của tỷ giá trên thị trƣờng ngoại tệ cũng là một trong số các bài toán có liên quan nhằm giúp cho các em có một tài liệu tham khảo trong việc học tập của mình. Từ nhu cầu thực tế đó, tôi chọn đề tài: “Nghiên cứu ứng dụng công cụ khai phá dữ liệu trong bài toán về giao dịch tỷ giá” để nghiên cứu. 1.2. Tổng quan vấn đề nghiên cứu. Thị trƣờng ngoại hối là nơi diễn ra các hoạt động trao đổi ngoại tệ thông qua quan hệ cung cầu. Việc trao đổi thƣờng bao gồm việc mua một đồng tiền này và đồng 6 thời bán một đồng tiền khác. Nhƣ vậy, các đồng tiền sẽ đƣợc trao đổi từng cặp với nhau. Đặc thù của thị trƣờng này là ngoại hối sẽ đƣợc giao dịch mua bán qua các ngân hàng, nhà môi giới, chuyên viên ngoại hối, các tổ chức tài chính và các cá nhân trên toàn thế giới. Do vậy, ngoại hối đƣợc giao dịch liên tục từ 21 giờ (GMT) chủ nhật tới 21 giờ (GMT) thứ 6 hàng tuần. Bài toán về giao dịch trên thị trƣờng ngoại hối sẽ đƣợc tập trung giải quyết vào việc dự báo xu hƣớng theo ngày của tỷ giá quy đổi của các cặp tiền tệ theo chuỗi thời gian biến động phức tạp để từ đó ra quyết định là giao dịch bán hay mua. Đầu vào của bài toán là lịch sử tỷ giá trao đổi của các cặp tiền tệ, số liệu về các sự kiện kinh tế đã xảy ra. Đầu ra của bài toán chính là xu hƣớng tăng hay giảm của các cặp tiền tệ cần xét. Một số lƣợng lớn các thuộc tính từ dữ liệu chuỗi thời gian đƣợc sinh ra từ lịch sử tỷ giá các cặp tiền tệ nhằm mục đích chọn ra các tập dữ liệu phù hợp cho bài toán phân lớp. Nhƣ vậy, bài toán giao dịch ngoại hối đƣợc chuyển về bài toán phân lớp nhị phân và là bài toán dự đoán xu hƣớng tăng hay giảm để hỗ trợ đƣa ra các quyết định giao dịch (hoạt động mua, bán, chốt lời, dừng lỗ). Các mô hình học máy có thể đƣợc sử dụng vào việc dự đoán xu hƣớng tỷ giá của các cặp tiền tệ. Piche (1995) sử dụng hình ảnh biểu đồ plot để mô tả xu hƣớng dịch chuyển các dao động của tỷ giá với ma trận xu hƣớng. Việc dự báo tỷ giá sử dụng mô hình dự báo chuỗi thời gian đƣợc biết đến với việc sử dụng phổ biến mô hình Regressive Integrated Moving Average (ARIMA) (Box và Jenkin, 1970; Yu, 2002). Thời gian gần đây, mô hình dự báo chứng khoán và ngoại hối đƣợc sử dụng phổ biến là GARCH (Wei, 2009). Ngoài các mô hình mạng nơron (Haykin, 1999; Chan & Teong, 1995; Woon-Seng & Kah-Hwa, 1995; Refenes & Azema-Barac, 1992; Joarder & Ruhul, 2003; Zhang & Kline, 2007; Kotsiantis, 2007) và SVM (Cao and Francis, 2001; Baasher & mohamed, 2010) cũng đƣợc biết đến nhƣ là các mô hình đƣợc sử dụng để dự báo tỷ giá ngoại hối. Căn cứ vào những phân tích ở trên, rõ ràng mô hình học có giám sát đƣợc sử dụng rất nhiều trong bài toán giao dịch ngoại hối. 1.3. Mục tiêu cụ thể đặt ra cần giải quyết trong đề tài. Mục tiêu nghiên cứu chính của đề tài là đề xuất mô hình khai phá dữ liệu để dự báo xu hƣớng giao dịch của các cặp tiền tệ dựa trên các giao dịch quá khứ, làm tài liệu tham khảo cho học phần “khai phá dữ liệu tron kinh doanh”, và làm tài liệu học tập cho sinh viên chuyên ngành quản trị HTTT. Cụ thể là: 7  Nghiên cứu cụ thể một số mô hình khai phá dữ liệu trong các mô hình khai phá nói chung  Tập trung nghiên cứu bài toán về giao dịch ngoại hối, và cụ thể là các hoạt động mua/bán giữa USD/EUR hoặc VND/USD  Xây dựng mô hình giao dịch tỷ giá VND/USD, USD/EUR,.  Làm tài liệu tham khảo phục vụ cho việc viết giáo trình học phần “Khai phá dữ liệu trong kinh doanh” – 2 tín chỉ của chuyên ngành quản trị hệ thống thông tin của trƣờng ĐH Thƣơng Mại.  Báo cáo có thể làm tài liệu tham khảo cho sinh viên khoa Hệ thống thông tin Kinh tế và Thƣơng mại điện tử, các đối tƣợng quan tâm đến việc khai phá dữ liệu trong kinh doanh. Hơn nữa, báo cáo của đề tài còn làm tài liệu tham khảo giảng dạy trong các học phần nhƣ CSDL, Quản trị CSDL và nhất là học phần mới Khai phá dữ liệu trong kinh doanh cho chuyên ngành Quản trị HTTT. 1.4. Đối tượng và phạm vi nghiên cứu đề tài Cách tiếp cận các mẫu khảo sát: Dữ liệu về giao dịch tỷ giá đã đƣợc thu thập online thông qua chƣơng trình cài đặt META TRADER 4 từ các nghiên cứu trƣớc. Số mẫu thu thập cho 1 năm, khoảng thời gian từ 3/2017 đến 3/2018 với các dòng giao dịch hàng ngày. Phƣơng pháp nghiên cứu: - Loại dữ liệu (định tính, định lƣợng): Định lƣợng. 8 Đối tƣợng nghiên cứu:  Bài toán về giao dịch tỉ giá với các dòng dữ liệu giao dịch. Có nhiều cặp tỉ giá có thể thu thập để lấy làm dữ liệu thực nghiệm vì các thức xử lý và thực nghiệm trong mô hình là tƣơng tự. Trong pham vi của đề tài này, cặp USD/VND đƣợc lựa chọn vì cặp tiền này đƣợc thƣờng xuyên sử dụng và sẽ gần với các đối tƣợng đọc là sinh viên trong khi giảng dạy.  Một số công cụ đƣa vào mô hình dự báo tỷ giá: Học có giám sát: SVM và cây quyết định Phạm vi nghiên cứu: • Thời gian: từ 03/2017-03/2018 • Không gian, phạm vi: Các dữ liệu tỉ giá. 1.5. Phương pháp thực hiện đề tài. Các phƣơng pháp đƣợc sử dụng trong đề tài là: Sử dụng phƣơng pháp nghiên cứu tài liệu lý thuyết cơ sở về khai phá dữ liệu với một số mô hình cụ thể, và bài toán giao dịch ngoại hối nói chung. Trên cơ sở đó thu thập các dữ liệu sơ cấp trên website giao dịch. Mô hình hóa bài toán giao dịch USD/VND với các dữ liệu thu thập đƣợc và thử nghiệm mô hình. Cụ thể nhƣ sau: Phƣơng pháp thu thập dữ liệu: Các dữ liệu thứ cấp đƣợc thu thập trên web site giao dịch ngoại hối USD/VND thông qua phần mềm META TRADER 4 và Invest.com với một đoạn chƣơng trình nhỏ (Script) để cài thêm (Add- in) vào phần mềm. - Phƣơng pháp xử lý dữ liệu: Tiền xử lý dữ liệu với phần mềm META TRADER 4; xây dựng mô hình khai phá với tập dữ liệu, và thử nghiệm mô hình. 1.6. Bố cục của đề tài. Đề tài đƣợc chia thành 3 chƣơng trong đó: Chƣơng 1: Tổng quan nghiên cứu . Chƣơng này nêu rõ tính cấp thiết của đề tài và đồng thời chƣơng này còn chỉ ra phƣơng pháp nghiên cứu và các nghiên cứu liên quan đến đề tài. Chƣơng 2: Tổng quan về khai phá dữ liệu và bài toán giao dịch ngoại hối. Nội dung của chƣơng để cấp đến các khái niệm về khai phá dữ liệu, trí tuệ nhân tạo, học máy cũng nhƣ các khái niệm liên quan đến giao dịch tỷ giá. Nội dung chƣơng còn 9 phân loại các công cụ của khai phá dữ liệu (học có giám sát, không giám sát), và đặt bài toán giao dịch tỷ giá. Chƣơng 3: Đề xuất mô hình khai phá dữ liệu trong bài toán giao dịch tỷ giá. Nội dung của chƣơng bao gồm việc đề xuất mô hình khai phá dữ liệu, cách thức thu thập và xử lý dữ liệu, phân chia tập dữ liệu thực nghiệm. Các thực nghiệm cũng đƣợc nêu ở chƣơng này với hai phƣơng pháp phổ biến là SVM và cây quyết định. Các thảo luận về thực nghiệm đƣợc thực hiện ở phần cuối của chƣơng. Phần kết luận sẽ tóm tắt lại các kết quả đã nghiên cứu đồng thời đề xuất các kiến nghị liên quan. 10 Chƣơng 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ BÀI TOÁN GIAO DỊCH NGOẠI HỐI 2.1 Một số khái niệm cơ bản 2.1.1 Các khái niệm về khai phá dữ liệu Khái niệm về dữ liệu Theo Wikipedia, và theo điều 4 Luật Giao dịch điện tử ban hành ngày 29 tháng 11 năm 2005, dữ liệu là thông tin dƣới dạng ký hiệu,chữ viết, chữ số, hình ảnh, âm thanh hoặc dạng tƣơng tự. Dữ liệu thô là các số, ký tự, hình ảnh hay các kết quả khác của các thiết bị chuyển đổi các lƣợng vật lý thành các ký hiệu. Các dữ liệu thuộc loại này thƣờng đƣợc xử lý tiếp bởi ngƣời hoặc đƣa vào máy tính. Trong máy tính, dữ liệu đƣợc lƣu trữ và xử lý tại đó hoặc đƣợc chuyển (output) cho một ngƣời hoặc một máy tính khác. Dữ liệu thô là một thuật ngữ tƣơng đối; việc xử lý dữ liệu thƣờng đƣợc thực hiện theo từng bƣớc, và "dữ liệu đã đƣợc xử lý" tại bƣớc này có thể đƣợc coi là "dữ liệu thô" cho bƣớc tiếp theo. Các dạng dữ liệu đƣợc lƣu trữ:  Tập tin truyền thống (flat files)  Cơ sở dữ liệu quan hệ  Cơ sở dữ liệu giao tác hoặc kho dữ liệu  Cơ sở dữ liệu tạm thời (data streem)  . Khái niệm về khai phá dữ liệu Theo Tom Mitchell (1999), “KPDL là việc sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tƣơng lai”. Theo Fayyad (1996), “KPDL, thƣờng đƣợc xem là việc khám phá tri thức trong các cơ sở dữ liệu, là một quá trình trích xuất những thông tin ẩn, trƣớc đây chƣa biết và có khả năng hữu ích, dƣới dạng các qui luật, ràng buộc, qui tắc trong cơ sở dữ liệu.” Nhƣ vậy có thể nói là KPDL là một quá trình học tri thức mới từ những dữ liệu đã thu thập đƣợc. KPDL đƣợc coi là sự kết hợp của các lĩnh vực khác nhau (xem Hình 1). 11 Hình 1: Các lĩnh vực liên quan của khai phá dữ liệu (Nguồn: Tom Mitchell, 1999) Quá trình khai phá dữ liệu có thể mô tả nhƣ sau: Hình 2: Quy trình khai phá dữ liệu (Nguồn: Chapman và cộng sự, 2000) Data Mining Machine Learning (học máy) Visualization (mô hình) Statistics (thống kê) Data Technology (Công nghệ dữ liệu) Khác 12 Có thể mô tả nhƣ sau: (1) Tìm hiểu nghiệp vụ và dữ liệu (Data Sources) (2) Chuẩn bị dữ liệu (Data warehouse) (3) Mô hình hóa dữ liệu (Data Mining) (4) Hậu xử lý và đánh giá mô hình (Pattern Evaluation) (5) Triển khai tri thức (Knowledge) Quá trình này có thể đƣợc lặp lại nhiều lần một hay nhiều giai đoạn dựa trên sự phản hồi từ kết quả của các giai đoạn sau. Tham gia chính trong quá trình KPDL này là các nhà tƣ vấn (NTV) và phát triển chuyên nghiệp trong lĩnh vực KPDL. Trong giai đoạn đầu tiên, Tìm hiểu nghiệp vụ và dữ liệu, NTV nghiên cứu kiến thức về lĩnh vực sẽ áp dụng, bao gồm các tri thức cấu trúc về hệ thống và tri thức, các