Luận văn Tóm tắt Phát triển hệ thống hỗ trợ ra đề và chấm thi trắc nghiệm tại trung tâm ngoại ngữ tin học tỉnh Yên Bái

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------------- LÊ THỊ MINH HẰNG PHÁT TRIỂN HỆ THỐNG HỖ TRỢ RA ĐỀ VÀ CHẤM THI TRẮC NGHIỆM TẠI TRUNG TÂM NGOẠI NGỮ - TIN HỌC TỈNH YÊN BÁI CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.15 LUẬN VĂN THẠC SỸ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS. TRẦN ĐÌNH QUẾ HÀ NỘI, THÁNG 10 NĂM 2012 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: PGS.TS Trần Đình Quế Phản biện 1: …………………………………………………………… Phản biện 2: …………………………………………………………… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc:....... giờ .... ngày ..... tháng ....... năm 2012 Có thể tìm hiểu luận văn tại: Thư viện của Học viện Công nghệ Bưu chính Viễn thông 1 PHẦN MỞ ĐẦU Thi trắc nghiệm hiện nay đang trở thành một vấn đề được các nhà nghiên cứu và xã hội quan tâm vì chất lượng thi, sự tin cậy và tính chất chính xác của nó. Nhằm giúp Sở giáo dục và đào tạo tỉnh Yên Bái nói chung và Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái nói riêng có thể kiểm tra đánh giá được chất lượng học của học viên, học sinh qua các khoá bồi dưỡng kiến thức và các đợt kiểm tra chất lượng định kỳ hàng năm, tác giả đã chọn đề tài “Phát triển hệ thống hỗ trợ ra đề và chấm thi trắc nghiệm tại trung tâm ngoại ngữ - tin học tỉnh yên bái” giúp hỗ trợ việc khởi tạo, quản lý và sử dụng các ngân hàng câu hỏi, để kiểm tra đánh giá giúp cho Trung tâm giảm tải về mặt thời gian, chi phí cho việc tổ chức thi đồng thời đảm bảo tính khoa học, chính xác. Luận văn gồm 3 chương Chương 1: Tổng quan về hệ thống thi trắc nghiệm Chương này tập trung tìm hiểu các vấn đề chính liên quan việc kiểm tra đánh giá bằng hình thức thi trắc nghiệm như: Khái niệm, đặc điểm và phân loại câu hỏi trắc nghiệm, câu hỏi trắc nghiệm khách quan; đặc trưng của các câu trắc nghiệm và của đề thi trắc nghiệm. Chương 2: Kiến trúc hệ thống thi trắc nghiệm 2 Chương này tập chung giới thiệu về kiến trúc của hệ thống và phương pháp chấm điểm cho hệ thống trắc nghiệm. Chương 3: Cài đặt và thử nghiệm Thử nghiệm hệ thống trong thực tế và đưa ra một số hình ảnh của hệ thống khi hoạt động. (assessment) như sau: 3 CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG THI TRẮC NGHIỆM 1.1. Đo lường, kiểm tra và đánh giá trong giáo dục 1.1.1. Đo lường (Measurement) trong giáo dục: 1.1.2. Kiểm tra/ Lượng giá (Assessment) trong giáo dục Căn cứ vào các thông tin định tính và định lượng (số đo) để đánh giá năng lực hoặc phẩm chất của sản phẩm đào tạo trong quá trình giáo dục. T. Kubiszyn và G.Borich (Educational Testing and Measurement (classroom application and practice) – 6th Ed, J.Wiley & Sons,Inc, 2000) đã phân biệt giữa tiến hành trắc nghiệm (testing) và kiểm tra/lượng giá Tiến hành Trắc nghiệm (testing) Kiểm tra/Lượng giá (assessment) 1. Các trắc nghiệm được thực hiện ở lớp học và cho điểm số. 2. Các kết quả trắc nghiệm được sử dụng để đề ra các quyết định về người học, về giảng dạy và về 1. Thông tin được thu thập từ các bài trắc nghiệm và các công cụ đo khác. 2. Các thông tin này đợc đánh giá một cách có phê phán và được phối hợp với các thông tin khác của quá trình đào tạo và bối cảnh 3. Sự phối hợp các kết quả trắc nghiệm và các thông tin khác đã 4 chương trình hoặc các vấn phân tích một cách có phê phán đề giáo dục khác. dùng để đề ra các quyết định về người học, về giảng dạy, về chương trình hoặc các vấn đề giáo dục khác. Bảng 1.1. Kiểm tra/ Lượng giá trong giáo dục 1.1.3. Đánh giá (Evaluation) trong giáo dục Trong giáo dục, có 6 loại đánh giá chính: Hình 1.1. Sơ đồ đánh giá trong giáo dục 1.2. Các phương pháp kiểm tra đánh giá Người ta có thể phân chia các phương pháp trắc nghiệm ra làm ba loại: Quan sát, Vấn đáp 1.2.1. Phương pháp quan sát 1.2.2. Phương pháp vấn đáp 1.2.3. Phương pháp kiểm tra viết 1.2.3.1. Trắc nghiệm tự luận Phương pháp này có từ một đến nhiều đề để cho các HS ngồi gần nhau không sao chép được của nhau. Các đề thi do 5 GV trực tiếp dạy ra nên thường sát với nội dung thi. Phương pháp thi viết cũng được sử dụng rộng rãi trong các kỳ thi. Các bài kiểm tra, bài thi HS phải viết gồm có hai loại: Loại tự luận và khách quan. Cả hai loại đều được gọi là trắc nghiệm, tuy nhiên giữa chúng có các điểm khác biệt. 1.2.3.2.Trắc nghiệm khách quan 1.3. Tổng quan về đào tạo trực tuyến 1.3.1. Đào tạo trực tuyến là gì? 1.3.2. Sự khác biệt giữa đào tạo truyền thống với đào tạo trực tuyến 1.3.2.1 Phương pháp đào tạo truyền thống 1.3.2.2 Phương pháp đào tạo trực tuyến 1.4 . Hệ thống trắc nghiệm kiến thức trực tuyến 1.4.1. Các khái niệm 1.4.1.1 Trắc nghiệm là gì ? 1.4.1.2 Định nghĩa hệ thống trắc nghiệm trực tuyến 1.4.1.3 Các phương pháp trắc nghiệm thông thường - Tự luận - Sát hạch trắc nghiệm lý thuyết dùng giấy thi - Thực hành trên máy chấm điểm tại chỗ - Thực hành trên máy chấm điểm sau 1.4.1.4. Ưu và nhược điểm của phương pháp trắc nghiệm trực tuyến 6 1.4.2. Các loại câu hỏi trắc nghiệm khách quan 1.4.2.1. Câu hỏi đúng – sai (Yes/No Questions) - Trước một câu dẫn xác định (thông thường không phải là câu hỏi), học sinh đưa ra nhận định và lựa chọn một trong hai phương án trả lời Đúng hoặc Sai. Ưu điểm của trắc nghiệm Đúng – Sai: Là loại câu hỏi đơn giản dùng để trắc nghiệm khách quan kiến thức về sự kiện, vì vậy viết loại câu hỏi này tương đối dễ dàng, ít phạm lỗi, mang tính khách quan khi chấm. Nhược điểm của trắc nghiệm Đúng – Sai: Học sinh có thể đoán mò vì vậy độ tin cậy thấp. Học sinh Giỏi có thể không thoả mãn khi buộc phải chọn Đúng – Sai khi câu hỏi viết chưa kỹ càng 1.4.2.2 Câu hỏi lựa chọn có nhiều phương án (Multiple choise questions) Đây là loại trắc nghiệm thông dụng nhất. Loại này thường có hai phần: Phần đầu được gọi là phần dẫn, nêu ra vấn đề, cung cấp thông tin cần thiết hoặc nêu một câu hỏi. Phần sau là các phương án để chọn thường được đánh dấu bằng các chữ cái A, B, C, D hoặc các con số 1, 2, 3, 4. Trong các phương án đã chọn chỉ có duy nhất một phương án đúng hoặc một phương án đúng nhất còn các phương án khác được đưa vào với tác dụng gây nhiễu còn gọi là câu mồi. 7 Khi soạn thảo loại trắc nghiệm này thường người soạn cố gắng làm cho các phương án nhiễu đều có vẻ “hợp lý” và “hấp dẫn” như phương án đúng. Ngoài ra phần dẫn có thể là một câu bỏ lửng và phần sau là đoạn bổ sung để phần dẫn trở nên hợp lý. 1.4.2.3 Câu hỏi điền khuyết (Supply items) hoặc trả lời ngắn (Short Answer) Đây là dạng trắc nghiệm khách quan có câu trả lời tương đối tự do. Thường chúng ta nêu ra một mệnh đề có khuyết một bộ phận, học sinh nghĩ ra nội dung trả lời thích hợp để điền vào chỗ trống, thường là những câu trả lời có nội dung ngắn gọn hoặc một vài từ. 1.4.2.4 Câu hỏi ghép đôi (Matching items) Có thể xem đây là một dạng đặc biệt của dạng trắc nghiệm khách quan nhiều lựa chọn, dạng câu hỏi này thường gồm hai cột thông tin, một cột là những câu hỏi (hay câu dẫn) một cột là những câu trả lời (hay còn gọi là câu lựa chọn), yêu cầu học sinh phải tìm cách ghép các câu trả lời ở cột này với câu hỏi ở cột khác sau cho hợp lý. 1.4.2.5 Câu hỏi tự vào bằng tay 1.5. Kỹ thuật thiết kế đề thi trắc nghiệm khách quan 1.5.1. Quy trình xây dựng hình thức trắc nghiệm khách quan 8 Chuẩn bị câu hỏi trắc nghiệm Ra đề: Tiến hành kiểm tra Chấm thi 1.5.2. Cơ sở kỹ thuật 1.5.2.1. Câu hỏi trắc nghiệm điền khuyết 1.5.2.2. Câu hỏi trắc nghiệm đúng/sai. 1.5.2.3. Câu hỏi trắc nghiệm ghép đôi 1.5.2.4. Câu hỏi trắc nghiệm nhiều lựa chọn 1.5.2.5. Câu hỏi trắc nghiệm tình huống (diễn giải) 1.6. Đặc trưng của các câu trắc nghiệm và của đề thi trắc nghiệm 1.6.1. Các đặc trưng của câu trắc nghiệm và của đề thi trắc nghiệm Để đánh giá chất lượng của từng câu trắc nghiệm hoặc của toàn bộ một đề thi trắc nghiệm, người ta thường dùng hai đại lượng đặc trưng: độ khó và độ phân biệt. Hai đại lượng đặc trưng khác, gắn với cả bài trắc nghiệm chứ không phải chỉ với từng câu hỏi, là độ tin cậy và độ giá trị của đề trắc nghiệm. 1.6.1.1. Độ tin cậy 1.6.1.2. Độ giá trị 1.6.2. Phân tích, đánh giá câu trắc nghiệm và đề thi trắc nghiệm 9 Để hoàn thiện các câu trắc nghiệm và đề thi trắc nghiệm, cần triển khai các trắc nghiệm thử. Trắc nghiệm thử là một phép đo kép: Dùng đề trắc nghiệm để đo năng lực các thí sinh, đồng thời sử dụng thí sinh để đo các thông số đặc trưng của các câu trắc nghiệm và đề trắc nghiệm. Công việc này được gọi là định cỡ (calibration) câu trắc nghiệm. Cần lưu ý một điều là khi trắc nghiệm thử phải tạo tình huống để mọi thí sinh đều làm bài nghiêm túc, hết mình để phép thử đạt yêu cầu cao. Dựa vào kết quả trắc nghiệm thử có thể tính bằng tay để phân tích các câu hỏi và đề trắc nghiệm. Tuy nhiên, hiện tại người ta thường dùng máy tính với các phần mềm tin học tính được rất nhanh chóng các thông số của các đại lượng cần thiết thông qua các phép thống kê tương quan cổ điển, hoặc theo các mô hình toán học hiện đại trong đo lường giáo dục. 1.7. Các phương pháp tính điểm trong hệ thống trắc nghiệm 1.7.1. Phương pháp tính điểm đối với dạng câu hỏi dạng N đáp án trong đó có K đáp án đúng 1.7.2. Phương pháp tính điểm đối với dạng câu hỏi dạng sắp xếp các thành phần bên trái vào vị trí tương ứng với các thành phần bên phải 1.7.3. Phương pháp tính điểm đối với dạng câu hỏi dạng sắp xếp theo thứ tự 10 1.8. Kết luận chương Chương 1 tập trung tìm hiểu các vấn đề chính liên quan việc kiểm tra đánh giá bằng hình thức thi trắc nghiệm như: Khái niệm, đặc điểm và phân loại câu hỏi trắc nghiệm, câu hỏi trắc nghiệm khách quan; đặc trưng của các câu trắc nghiệm và của đề thi trắc nghiệm. 11 CHƯƠNG 2: KIẾN TRÚC HỆ THỐNG THI TRẮC NGHIỆM 2.1. Kiến trúc hệ thống 2.1.1. Mô tả yêu cầu bài toán Hệ thống cho phép đảo đề tự động và quản lý các phiên bản của đề thi. Một phiên bản đề là một hoán vị của các câu hỏi và đáp án trong đề đó. Các phần của đề được giữ nguyên thứ tự và câu hỏi trong một phần không bị chuyển sang phần khác. Hệ thống tự động tạo ra các phiên bản khác nhau khi người dùng làm cùng một đề thi nhiều lần. Người dùng có thể chủ động tạo, đặt tên phiên bản và xuất bản dưới dạng Microsoft Word để sử dụng trong các kì thi, kiểm tra truyền thống. Hệ thống có chức năng tạo đề tự động từ cấu trúc đề cho trước. Một cấu trúc đề là một bản mô tả về đề thi trong đó nêu ra các phần của đề thi và các ràng buộc cho từng phần. Có ba loại ràng buộc: Ràng buộc về chủ đề: Yêu cầu phải có một lượng câu hỏi nhất định trong chủ đề cho trước. Ràng buộc về điểm số: Yêu cầu phải có một lượng câu hỏi nhất định với điểm số cho trước, điểm số phải nằm trong một giới hạn. Ràng buộc về độ khó: Yêu cầu phải có một lượng câu hỏi nhất định với độ khó cho trước. Một phần trong cấu trúc đề bắt buộc phải có ít nhất một ràng buộc, nhưng có thể có nhiều ràng buộc cùng loại hoặc không có ràng buộc nào thuộc loại cố định. Sau khi sinh tự động người dùng có thể tùy ý thay đổi đề thi theo nhu cầu. 12 Hệ thống có chức năng hỗ trợ chấm bài. Giáo viên có thể tạo ra các “bài kiểm tra”, mỗi bài kiểm tra gồm các “bài làm” của các thí sinh khác nhau, thực hiện trên các phiên bản của cùng một đề thi có sẵn. Để tạo một “bài làm”, giáo viên chọn phiên bản đề thi và nhập các câu trả lời của thí sinh. Sau khi nhập xong hệ thống đưa ra kết quả và có chức năng kết quả dưới dạng excel. 2.1.2 Mô hình tổng thể hệ thống Hình 2.1 Mô hình tổng thể hệ thống 2.1.3 Quy trình nghiệp vụ hệ thống thi trắc nghiệm 2.1.3.1 Quy trình tạo đề thi Hình 2.2 Quy trình nghiệp vụ quản lý câu hỏi 13 2.1.3.2. Quy trình thêm mới, cập nhật một đề thi Hình 2.3 Quy trình quản lý đề thi 2.1.3.3 Quy trình phê duyệt một đề thi 2.1.3.4 Quy trình tạo đợt thi 2.1.3.5 Quy trình chấm điểm đợt thi 2.1.3.6 Quy trình cập nhật người thi 2.2. Xây dựng biểu đồ Use case 2.2.1 Xây dựng các tác nhân và Use case của hệ thống 2.2.1.1. Nhận diện các Tác nhân Mô hình các tác nhân Hình 2.6. Danh sách các tác nhân của hệ thống 14 2.2.1.2 Xác định các Use case của hệ thống 2.2.2 Xây dựng các biểu đồ Use Case 2.2.2.1 Biểu đồ Use Case của tác nhân Administrator 2.2.2.1.1 Danh mục các Use Case 2.2.2.1.2 Phân tích các Use Case 2.2.2.2 Biểu đồ Use Case của tác nhân Candidate 2.2.2.2.1 Danh mục các Use Case 2.2.2.2.2 Phân tích các Use Case 2.2.2.3 Biểu đồ Use case của tác nhân Marker 2.2.2.4. Biểu đồ Use Case của tác nhân QuestionCreator 2.3. Biểu đồ trình tự 2.3.1 Biểu đồ trình tự của tác nhân Administrator 2.3.1.2 Quản trị User( ManagerUser) 2.3.1.3 Quản trị Môn thi( ManageSubject) 2.3.1.4 Quản trị thí sinh( ManageCandidate) 2.3.2 Biểu đồ trình tự Làm bài thi(TakeExam) 2.3.2.1 Xem điểm(ViewMark) 2.3.4 Biểu đồ trình tự của tác nhân QuestionCreator 2.3.5 Biểu đồ trình tự của tác nhân Marker 2.3.6 Biểu đồ trình tự tạo đợt thi(WaveCreator) 2.3.7. Biểu đồ trình tự SheetCreator 2.4. Biểu đồ lớp 2.4.1 Biểu đồ các lớp Biên 2.4.2 Biểu đồ lớp thực thể 2.4.3 Biểu đồ các lớp Điều khiển 15 2.4.4 Biểu đồ lớp chi tiết 2.4.4.1 Biểu đồ lớp cho chức năng quản lý User 2.4.4.2 Biểu đồ lớp chức năng Quản lý candidate 2.4.4.3 Biểu đồ lớp cho chức năng Quản lý câu hỏi 2.4.4.4 Biểu đồ lớp cho chức năng Quản lý đợt thi 2.4.4.5 Biểu đồ cho chức năng Quản lý đề thi 2.5. Biểu đồ hoạt động 2.5.1. Biểu đồ hoạt động của QuestionCreator 2.5.2 Biểu đồ hoạt động Tạo đề thi 2.5.3 Biểu đồ hoạt động tạo Đợt thi 2.5.4. Biểu đồ hoạt động của Thí sinh 2.5.5 Biểu đồ hoạt động phê duyệt đề thi 2.5.6 Biểu đồ hoạt động của Marker 2.6. Mô hình dữ liệu quan hệ 2.6.1 Mô hình quan hệ dữ liệu phân quyền 2.6.2 Mô hình quan hệ dữ liệu eXam 2.7. Kết luận chương Chương 2 phân tích hệ thống ra đề và chấm thi trắc nghiệm. Mô tả bài toán. Xây dựng mô hình tổng thể của hệ thống, nêu quy trình nghiệp vụ hệ thống thi trắc nghiệm. Xây dựng các biểu đồ User case như biểu đồ tuần tự, biểu đồ lớp, biểu đồ hoạt động. 16 CHƯƠNG 3: CÀI ĐẶT VÀ THỬ NGHIỆM 3.1. Cài đặt hệ thống 3.2. Thử nghiệm. 3.3. Một số giao diện chương trình Hình 3.1 Thí sinh đăng nhập vào đề thi Hình 3.3 Giao diện thí sinh lựa chọn đề thi 17 Hình 3.4 Giao diện làm bài thi Hình 3.5 Kết quả Thi 18 Hình 3.6 Giáo viên đăng nhập Hình 3.8 Giao diện giáo viên tạo câu hỏi 19 Hình 3.9 Giao diện quản lý đề thi Hình 3.10 Giao diện quản lý điểm thi 20 Hình 3.11 Giao diện quản lý người dùng Hình 3.12 Giao diện quản lý môn học 21 Hình 3.13 Giao diện quản lý đối tượng 3.4. Đánh giá Đề tài đã được triển khai thử tại Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái và có kết luận đề tài phù hợp với mô hình đào tạo tại Trung tâm. Trong thời gan tới Trung tâm sẽ xem xét và đưa hệ thống vào hoạt động để tổ chức các kỳ thi cấp chứng chỉ và sát hạch cho môn tin học. 3.5 Kết luận chương Chương 3 cài đặt và triển khai hệ thống Phát triển hệ thống ra đề và chấm thi trắc nghiệm tại Trung tâm Ngoại ngữ - Tin học tỉnh Yên Bái. Cụ thể triển khai hệ thống trên hệ thống mạng Lan của Trung tâm và cho thi thử. 22 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ 1. Kết luận Hệ thống “Ra đề và chấm điểm thi trắc nghiệm” là một hệ thống hữu ích cho học sinh – sinh viên tự ôn tập kiểm tra kiến thức của mình, đồng thời là nơi để giáo viên kiểm tra được kiến thức của học sinh – sinh viên của mình từ xa thông qua mạng Internet. Hệ thống thi trắc nghiệm là một hệ thống được phân quyền theo từng đối tượng. Mỗi đối tượng có nhiệm vụ và chức năng khác nhau. Nội dung của môn học và các chương mục của môn học thường xuyên được người quản trị và các giáo viên cập nhật. Hệ thống soạn câu hỏi trắc nghiệm giúp giáo viên có thể soạn câu hỏi một cách đơn giản hơn. Luận văn đã trình bày được một số phương pháp tính điểm mới cho các loại câu trắc nghiệm và phân tích thiết kế được hệ thống ra đề dạng trắc nghiệm khách quan như : Dạng câu hỏi N đáp án trong đó có K đáp án đúng Ngoài ra luận văn đã áp dụng các phương pháp tính điểm như đã nói ở trên vào một chương trình cụ thể . Cài đặt và chạy thử được chương trình trên hệ thống mạng Lan. 2. Kiến nghị 23 Tác giả tiếp tục nghiên cứu để đưa các dạng câu hỏi còn lại vào hệ thống và xác định độ khó của câu hỏi, tỷ lệ số câu khó trong một bài thi, các câu khó cần phải được gợi ý, vấn đề thưởng, phạt khi gặp câu hỏi khó hoặc có dùng gợi ý, trừ điểm nếu trả lời sai để hạn chế tình trạng đoán mò đáp án của thí sinh. 24 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Ba (2003), Phân tích và thiết kế hệ thống thông tin, NXB Đại Học Quốc Gia Hà Nội – Hà Nội. [2] Thạc Bình Cường (2002), Phân tích và thiết kế hệ thống thông tin, NXB khoa học và kỹ thuật. [3] Vũ Mạnh Hoàng Hải - Nguyễn Đình Ngọc Duy (2005). “Xây dựng phần mềm quản lý ngân hàng câu hỏi trắc nghiệm tuyển sinh đại học. Luận văn cử nhân tin học. Trường ĐH Khoa Học Tự Nhiên Tp Hồ Chí Minh”. [4] Nguyễn Phụng Hoàng, Nguyễn Ngọc Lan (1997), Phương pháp trắc nghiệm trong kiểm tra và đánh giá kết quả học tập [5] Lê Đức Ngọc (2003), “Đo lường và đánh giá trong giáo dục” [6] Vũ Đức Lưu (2008), “Đổi mới kiểm tra - đánh giá NTB” [7] TS Hoa Tất Thắng, Phương pháp tính điểm cho người học khi kiểm tra kiến thức trong hệ thống đào tạo trực tuyến. Tiếng Anh [8] Bloom B.S. The sigma Problem: The Search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, № 13, 1984. – p. 3. [9] Providing computing for distance learners: a strategy forр home use. // Computers Education, 1992, vol.18, № 1. PHỤ LỤC