Đề tài Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công Nghệ Thông tin - Đại học Thái Nguyên

LỜI CAM ĐOAN Tôi xin cam đoan đây là phần nghiên cứu do tôi thực hiện. Các số liệu, kết luận nghiên cứu trình bày trong luận văn này chưa hề được công bố ở các nghiên cứu khác. Tôi xin chịu trách nhiệm về nghiên cứu của mình! Thái Nguyên, ngày 20 tháng 9 năm 2009. Tác giả Nguyễn Anh Tuấn 1 LỜI CẢM ƠN Tác giả xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Nguyễn Công Khanh đã hướng dẫn hết sức chu đáo, nhiệt tình trong suốt quá trình thực hiện luận văn. Xin chân thành cảm ơn các thầy, cô giáo của Trung tâm Đảm bảo chất lượng đào tạo & Nghiên cứu phát triển giáo dục - Đại học Quốc gia Hà Nội. đã tạo điều kiện thuận lợi cho tác giả trong thời gian học tập và nghiên cứu tại trường. Xin chân thành cảm ơn Lãnh đạo Khoa Công nghệ thông tin - Đại học Thái Nguyên, các đồng nghiệp đã tạo điều kiện thuận lợi cho tác giả trong quá trình tiến hành thực nghiệm đề tài. Xin chân thành cảm ơn những người thân trong gia đình, bạn bè, đồng nghiệp đã giúp đỡ, động viên tác giả trong quá trình thực hiện và hoàn thành luận văn! 2 MỤC LỤC Trang Trang phụ bìa Lời cam đoan................................................................................................. 1 Lời cảm ơn .................................................................................................... 2 Mục lục.......................................................................................................... 3 Danh mục các chữ viết tắt ............................................................................. 5 Danh mục bảng ............................................................................................. 6 Danh mục hình .............................................................................................. 7 MỞ ĐẦU 1. Lý do chọn đề tài ............................................................................... 8 2. Mục đích nghiên cứu ......................................................................... 9 3. Giới hạn nghiên cứu .......................................................................... 9 4. Phương pháp nghiên cứu ................................................................... 9 Chương 1. CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN 1.1. Các khái niệm về chất lượng bộ đề thi trắc nghiệm ..................... 11 1.1.1. Các công cụ đo lường đánh giá kết quả học tập................. 11 1.1.2. Trắc nghiệm và những vấn đề liên quan ............................ 13 1.1.3. Độ tin cậy của bộ câu hỏi trắc nghiệm ............................... 19 1.1.4. Độ giá trị (hiệu lực) của bộ câu hỏi trắc nghiệm................ 24 1.2. Quy trình xây dựng bộ đề thi trắc nghiệm khách quan ................ 26 1.2.1. Các quy tắc viết câu hỏi trắc nghiệm nhiều lựa chọn ........ 26 1.2.2. Xây dựng bảng trọng số của môn học ............................... 31 1.2.3. Xây dựng ngân hàng đề thi trắc nghiệm môn học ............. 32 Chương 2. PHƯƠNG PHÁP NGHIÊN CỨU 2.1. Những định hướng, trọng tâm nghiên cứu.................................... 34 2.1.1. Chuyên đề nghiên cứu thứ nhất.......................................... 34 3 2.1.2. Chuyên đề nghiên cứu thứ hai............................................ 34 2.1.3. Chuyên đề nghiên cứu thứ ba............................................. 35 2.2. Thiết kế mẫu phiếu điều tra đối với giáo viên.............................. 35 Chương 3. XỬ LÝ SỐ LIỆU KẾT QUẢ THI TRẮC NGHIỆM 3.1. Xử lý số liệu kết quả thi TNKQ ................................................... 39 3.1.1. Phân tích độ khó của item.................................................. 39 3.1.2. Phân tích độ phân biệt của item ......................................... 40 3.1.3. Đánh giá độ tin cậy của bài trắc nghiệm............................ 42 3.1.4. Xử lý số liệu đề thi trên mô hình QUEST ......................... 48 3.1.5. Kết luận về độ giá trị của các bộ đề ................................... 52 3.2. Xử lý số liệu mẫu phiếu hỏi trong giảng viên .............................. 52 3.2.1. Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi)......... 52 3.2.2. Đánh giá về độ giá trị của công cụ đo và sự phù hợp của mô hình các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ qua xử lý phiếu hỏi................................. 62 3.3. Kết luận về các yếu tố ảnh hưởng đến việc xây dựng bộ đề TNKQ ................................................................................. 62 KẾT LUẬN, ĐỀ XUẤT GIẢI PHÁP, KIẾN NGHỊ 4.1. Kết luận ......................................................................................... 71 4.2. Đề xuất giải pháp .......................................................................... 73 TÀI LIỆU THAM KHẢO ........................................................................ 74 PHỤ LUC Phụ lục 1. File dữ liệu mon01.Itn ........................................................ 75 Phụ lục 2. File dữ liệu mon01.map...................................................... 77 Phụ lục 3. Mẫu phiếu hỏi khảo sát giảng viên..................................... 81 4 DANH MỤC CÁC CHỮ VIẾT TẮT TT VIẾT TẮT ĐỌC LÀ 1 ĐHTN Đại học Thái Nguyên 2 GD Giáo dục 3 GD – ĐT Giáo dục - đào tạo 4 GV Giảng viên 5 HS Học sinh 6 KT – ĐG Kiểm tra đánh giá 7 MCQ Câu hỏi nhiều lựa chọn 8 NXB Nhà xuất bản 9 SV Sinh viên 10 TNKQ Trắc nghiệm khách quan 5 DANH MỤC BẢNG Trang Bảng 1.1: Ví dụ về bảng trọng số của 1 đề thi hết học phần gồm 60 câu trắc nghiệm.....................................................32 Bảng 3.1: Kết quả phân tích độ tin cậy (Reliability Analysis Alpha) của toàn bài trắc nghiệm trong đề số 1....................................... 44 Bảng 3.2: Các thông số về độ tin cậy (Reliability Statistics) ..................... 46 Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s của 50 đề trắc nghiệm ............ 46 Bảng 3.4: Phân bố tương quan giữa độ khó của đề và năng lực học sinh .. 49 Bảng 3.5: Phân bố các item trong khoảng cho phép (infit mean square) ... 50 Bảng 3.6: Các thông số đo lường của từng item trong file mon1.itn ......... 51 Bảng 3.7: Hệ số tin cậy của từng item trên mẫu 50 giáo viên (N = 50) ..... 55 Bảng 3.8: Ma trận tương quan của các item qua xử lý phiếu hỏi ............... 57 Bảng 3.9: Ma trận phân bố của các item phiếu hỏi trong file Phieu.map... 60 Bảng 3.10: Phân bố của các item trong phiếu hỏi trong khoảng cho phép (infit mean square).............................. 61 6 DANH MỤC HÌNH Trang Hình 1.1: Sơ đồ các phương pháp kiểm tra - đánh giá .............................. 12 Hình 3.1: Thủ tục Analyze \ Scale \ Reliability trong file SPSS.sav.......... 54 Hình 3.2: Phân bố thống kê của biến “diem.ptn” ....................................... 64 Hình 3.3: Biểu đồ phân chia mức khi Recode biến “diem.ptn”................. 65 Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables ................... 66 Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables khi nhóm biến................................................... 65 Hình 3.6: Biểu đồ phân bố biến “chl.de” trên mẫu kết quả thi của 50 bộ đề TNKQ...................................................................66 Hình 3.7: Phân bố mức của biến “chl.de” sau khi Recode ........................ 67 Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) ............ 68 Hình 3.9: Kết quả bảng chéo Crosstabs giữa hai biến“diem.ptn.nhom” và “chl.de.nhom” ...................... 70 7 MỞ ĐẦU 1. Lý do chọn đề tài Để nâng cao chất lượng giảng dạy đại học, việc đánh giá chính xác kết quả học tập của sinh viên là một vấn đề rất quan trọng. Trong thực trạng giáo dục đại học còn nhiều tiêu cực và bất cập như hiện nay, việc áp dụng hình thức thi, kiểm tra trắc nghiệm khách quan là một trong những biện pháp có hiệu quả cho phép đánh giá tương đối chính xác kết quả học tập của sinh viên. Khoa Công nghệ thông tin - Đại học Thái Nguyên cũng như các trường đại học khác hiện đang tích cực áp dụng hình thức thi trắc nghiệm khách quan cho khoảng 40% tổng số các môn học, coi đây là một trong những biện pháp nhằm đổi mới phương pháp kiểm tra đánh giá, nâng cao chất lượng giáo dục. Tuy nhiên một thực tế xảy ra là chất lượng các bộ đề thi trắc nghiệm khách quan chưa được bảo đảm cả về độ giá trị cũng như độ tin cậy. Do đó tôi đã lựa chọn đề tài “Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công nghệ thông tin - Đại học Thái Nguyên” Thực tế hiện nay việc xây dựng các bộ đề thi trắc nghiệm khách quan được giao cho các nhóm giáo viên phụ trách môn học thực hiện. Các giáo viên xây dựng bộ đề hầu hết đều theo kinh nghiệm chủ quan của mình, chưa được trang bị đầy đủ về kiến thức và kỹ năng thiết kế đề thi trắc nghiệm. Các đề thi do giáo viên soạn thảo được đưa vào ứng dụng trực tiếp, không qua quá trình thử nghiệm và đánh giá. Chính vì vậy phân bố điểm thi không thể hiện tính chuẩn, do còn có nhiều câu hỏi kém chất lượng. Như chúng ta biết, hiện nay chưa có công trình nào nghiên cứu cụ thể về vấn đề này. Vì vậy chưa có một kết luận chính xác về độ tin cậy, độ giá trị của các bộ đề thi trắc nghiệm khách quan cũng như các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm. Thực hiện đề tài này, chúng tôi mong muốn sẽ đánh giá được thực chất về độ giá trị, độ tin cậy của các bộ đề thi trắc nghiệm khách quan của Nhà 8 trường cũng như các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm, từ đó chỉ ra được các giải pháp khắc phục. 2. Mục đích nghiên cứu của đề tài Nghiên cứu này hướng đến những mục tiêu như sau: - Đánh giá độ tin cậy của bộ đề thi trắc nghiệm khách quan. - Đánh giá độ giá trị của bộ đề thi trắc nghiệm khách quan. - Nghiên cứu các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm. 3. Giới hạn nghiên cứu của đề tài Đề tài giới hạn trong việc nghiên cứu, đánh giá độ tin cậy, độ giá trị của 50 bộ đề thi trắc nghiệm khách quan đã được sử dụng tại Khoa CNTT - ĐHTN. Nghiên cứu các yếu tố ảnh hưởng đến việc xây dựng đề thi trắc nghiệm của 50 giáo viên thông qua xử lý phiếu điều tra ý kiến kết hợp xử lý số liệu kết quả thi của các môn học tương ứng. 4 . Phương pháp nghiên cứu Câu hỏi nghiên cứu / giả thiết nghiên cứu Câu hỏi nghiên cứu được đặt ra là: “Những yếu tố nào ảnh hưởng đến quá trình xây dựng các bộ đề trắc nghiệm”. Các giả thiết nghiên cứu được đặt ra là các yếu tố ảnh hưởng trực tiếp đến chất lượng các bộ đề: 1- Yếu tố thời gian đầu tư cho công việc: Là thời gian thực tế giáo viên dùng để nghiên cứu tài liệu và biên soạn đề thi, quỹ thời gian của nhà trường dành cho việc này. 2- Động cơ của người thực hiện: Là các yếu tố như sự say mê, hứng thú của cá nhân các giáo viên hay đơn giản là phải hoàn thành nhiệm vụ. 3- Mức độ người ra đề được trang bị kỹ thuật thiết kế đề trắc nghiệm: Thể hiện ở mức độ được tập huấn, tự nghiên cứu về kỹ thuật xây dựng đề thi trắc nghiệm. 9 4- Sự quan tâm của nhà trường: Thể hiện ở sự khuyến khích, động viên bằng tinh thần hay vật chất cụ thể. 5- Tính chất các nhóm môn học: Là đặc thù của nhóm môn học đến việc ra đề trắc nghiệm (phù hợp hay khó thực hiện). Khách thể và đối tượng nghiên cứu Khách thể nghiên cứu là số liệu kết quả thi của 50 bộ đề trắc nghiệm khách quan tại Khoa CNTT và các giáo viên trực tiếp xây dựng các bộ đề đó. Đối tượng nghiên cứu là các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm. Phương pháp tiếp cận nghiên cứu 1. Phương pháp khảo cứu lý thuyết: Nghiên cứu các quy định về triển khai thực hiện việc thi trắc nghiệm và xây dựng ngân hàng thi trắc nghiệm của Bộ GD&ĐT; Các lý thuyết về đo lường đánh giá trong giáo dục. 2. Phương pháp điều tra khảo sát: Thực hiện qua hai bước chính là nghiên cứu sơ bộ và nghiên cứu chính thức. - Nghiên cứu sơ bộ: Thực hiện thông qua phương pháp định tính, sử dụng kỹ thuật thảo luận nhóm để bổ sung mô hình. - Nghiên cứu chính thức: Thực hiện thông qua phương pháp nghiên cứu định lượng, sử dụng kỹ thuật thu thập thông tin qua việc phỏng vấn, lấy phiếu điều tra trên các đối tượng giáo viên. Mục đích nghiên cứu này là để sàng lọc các biến quan sát, xác định thành phần cũng như giá trị độ tin cậy của thang đo và kiểm định mô hình lý thuyết. 3. Phương pháp lấy ý kiến chuyên gia: Tham khảo ý kiến của các chuyên gia có kinh nghiệm trong giáo dục đại học và đo lường đánh giá trong giáo dục. 4. Phương pháp thống kê toán học: Thu thập và xử lý số liệu (gồm kết quả các môn thi trắc nghiệm và phiếu điều tra đối với giáo viên ra đề thi trắc nghiệm) trong quá trình nghiên cứu bằng các phần mềm SPSS và QUEST. 10 Chương 1 CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN Để đổi mới phương pháp dạy học theo phương châm “Lấy người học làm trung tâm” đã có rất nhiều biện pháp, trong đó việc sử dụng các bộ đề thi trắc nghiệm khách quan (TNKQ) như là một công cụ để đánh giá chính xác kết quả học tập của sinh viên cũng như nâng cao hiệu quả của việc dạy học tích cực, đang được áp dụng một cách có hiệu quả. Tuy nhiên chất lượng của các bộ đề thi TNKQ lại là một vấn đề chưa được xem xét một cách hệ thống và đầy đủ. Trên thế giới, các quy trình biên soạn đề thi TNKQ được thực hiện một cách chặt chẽ và các bộ đề được đánh giá một cách khoa học trước khi đem sử dụng. Đối với giáo dục đại học ở Việt Nam, việc áp dụng hình thức thi TNKQ vẫn còn là mới mẻ, mặc dù đã có quy định về quy trình biên soạn các câu hỏi thi TNKQ nhưng việc biên soạn cụ thể tại các nhà trường vẫn nặng về tính chủ quan và cũng chưa có các công trình nghiên cứu đánh giá một cách cụ thể về chất lượng của các bộ đề thi TNKQ. Việc các nhà trường tự đánh giá chất lượng các bộ đề thi TNKQ cũng như tìm các biện pháp nâng cao chất lượng các bộ đề TNKQ là rất cần thiết trong việc nâng cao chất lượng dạy và học của nhà trường. Chất lượng một bộ đề thi nói chung phụ thuộc nhiều yếu tố nhưng chủ yếu và trực tiếp là các yếu tố tác động đến chính bản thân người ra đề. Trong điều kiện giảng dạy hiện nay, có thể khái quát thành 5 nhóm yếu tố giả thuyết có ảnh hưởng đến người ra đề, đó là: - Thời gian đầu tư cho công việc. - Động cơ của người thực hiện. - Mức độ được trang bị kỹ thuật. - Sự quan tâm của nhà trường. - Tính chất các nhóm môn học. 11 Các nghiên cứu của đề tài sẽ thực hiện phỏng vấn trên phiếu điều tra đối với các đối tượng là giáo viên trực tiếp ra đề thi trắc nghiệm. Kết hợp xử lý số liệu về độ giá trị, độ tin cậy của các bộ đề thi để tìm ra tương quan thực tế giữa các yếu tố giả thuyết và chất lượng bộ đề. Trên cơ sở đó kiểm nghiệm lại độ tin cậy của thang đo được thiết kế trên phiếu điều tra. 1.1. Các khái niệm về chất lượng bộ đề thi trắc nghiệm 1.1.1. Các công cụ đo lường kết quả học tập Dựa vào hình thức diễn đạt, có thể hình dung hệ thống các phương pháp kiểm tra - đánh giá trong dạy học qua sơ đồ sau đây: QUAN SÁT CÁC PHƯƠNG PHÁP KIỂM TRA VIẾT VẤN ĐÁP TỰ LUẬN TRẮC NGHIỆM KHÁCH QUAN Cung cấp thông tinTiểu luận Nhiều lựa chọnĐúng saiDiễn giải Điền khuyếtGhép đôi Hình 1.1: Sơ đồ các phương pháp kiểm tra - đánh giá. 1.1.1.1. Phương pháp quan sát Quan sát giúp xác định cử chỉ, thái độ, hành vi, sự phản ứng, thao tác thực hành, kĩ năng thực hành và một số kĩ năng về nhận thức khác của người được kiểm tra. Phương pháp này chủ yếu mang tính chất định tính nên thường dùng trong đánh giá kết quả thực hành. 12 1.1.1.2. Phương pháp vấn đáp Vấn đáp (hỏi và trả lời) có thể dùng lời hoặc không dùng lời. Đối với trắc nghiệm không dùng lời thì người hỏi dùng điệu bộ, phim, tranh ảnh.., người trả lời có thể dùng lời hoặc không. Phương pháp dùng lời được phổ biến hơn mà chúng ta hay gọi là kiểm tra vấn đáp. Phương pháp này vừa định tính vừa định lượng, độ chính xác tương đối cao, có giá trị nhiều mặt. Nó thích hợp với cả người dạy và người học, đặc biệt có lợi trong kiểm tra xử lí tình huống, rèn phản ứng nhanh nhạy cho HS. Tuy nhiên phương pháp này không thích hợp cho việc đánh giá một phổ rộng với khối lượng lớn kiến thức, trên nhiều HS trong một thời gian ngắn. Câu hỏi để HS trả lời đa số chỉ nằm trong một nội dung hẹp nào đó. 1.1.1.3. Phương pháp kiểm tra viết Đây là hình thức được dùng phổ biến trong dạy học. Kiểm tra theo kiểu này có những ưu điểm sau: - Cho phép kiểm tra nhiều HS một lần. - Cung cấp một bản ghi rõ ràng các câu trả lời của thí sinh dùng cho việc chấm điểm. - Cho phép thí sinh cân nhắc trước khi trả lời các câu hỏi, do đó kiểm tra được sự phát triển trí tuệ ở mức cao hơn. - Dễ quản lí vì bản thân người chấm không tham gia trực tiếp trong thời gian kiểm tra. 1.1.2. Trắc nghiệm và những vấn đề liên quan 1.1.2.1. Khái niệm về trắc nghiệm Trắc nghiệm “test” trong tiếng Anh có nghĩa là “sự khảo sát hoặc thử các phẩm chất của một người hoặc vật”; còn trong tiếng Hán thì “trắc” có nghĩa là “đo lường”, “nghiệm” có nghĩa là “suy xét, chứng thực”. 13 Theo Trần Bá Hoành: “Trắc nghiệm trong giáo dục là một phương pháp đo để thăm dò một số đặc điểm năng lực trí tuệ của HS như chú ý, ghi nhớ, tưởng tượng… hoặc để kiểm tra đánh giá một số kiến thức, kĩ năng, kĩ xảo, thái độ của HS”. Theo Dương Thiệu Tống: “Trắc nghiệm là công cụ hoặc quy trình có tính hệ thống nhằm đo lường một mẫu các hành vi. Trắc nghiệm giúp ta trả lời câu hỏi: thành tích của các cá nhân như thế nào khi so sánh với những người khác hay so sánh với một lĩnh vực các nhiệm vụ dự kiến?”. 1.1.2.2. Trắc nghiệm tự luận và trắc nghiệm khách quan Trắc nghiệm viết bao gồm hai loại: trắc nghiệm tự luận và trắc nghiệm khách quan - Trắc nghiệm tự luận (Essay test). Trắc nghiệm tự luận bao gồm nhiều dạng khác nhau nhưng nhìn chung HS có thể diễn đạt tư tưởng, câu văn nhờ kiến thức và kinh nghiệm học tập đã có. Phương pháp này có thể đo được khả năng suy luận cũng như phát huy được óc sáng tạo, khéo léo khi giải quyết vấn đề của HS, khuyến khích HS thói quen suy diễn, phân tích, tổng hợp, khái quát hoá, tạo điều kiện cho HS luyện cách diễn đạt, sử dụng từ ngữ. Việc soạn các câu hỏi dạng này không mấy khó khăn. Tuy nhiên, nhược điểm của phương pháp này là khó chấm điểm, tính khách quan không cao nên độ tin cậy thấp. Mặt khác, trong một đề thi chỉ kiểm tra được ít nội dung kiến thức. - Trắc nghiệm khách quan (Objective test). Trắc nghiệm khách quan là dạng trắc nghiệm trong đó mỗi câu hỏi có kèm theo những câu trả lời sẵn. Loại câu hỏi này cung cấp cho HS một phần hay tất cả thông tin cần thiết và đòi hỏi HS phải chọn một câu để trả lời hoặc chỉ cần thêm một vài từ. Đây là một phương pháp có khả năng đánh giá được các mức độ nhận thức. Gọi là khách quan vì hệ thống cho điểm là khách quan. 14 Kết qủa của bài trắc nghiệm không phụ thuộc vào việc ai chấm bài trắc nghiệm đó. Thông thường, một bài TNKQ gồm nhiều câu hỏi hơn một bài trắc nghiệm tự luận; mỗi câu hỏi có một phương án trả lời đúng, các phương án còn lại là phương án nhiễu. Tuy nhiên, TNKQ chỉ có việc chấm điểm là khách quan, tính chủ quan có thể nằm ở việc lựa chọn nội dung đề kiểm tra và việc định ra câu trả lời. Nhiều người thường gọi tắt TNKQ là “trắc nghiệm”, do vậy khi dùng từ “trắc nghiệm” mà không nói gì thêm thì chúng ta ngầm hiểu đây là TNKQ. Trong quá trình nghiên cứu, tìm hiểu, đến nay các chuyên gia về phương pháp dạy học của nhiều nước trên thế giới đã thừa nhận việc KT - ĐG bằng trắc nghiệm có khả năng đảm bảo tính khách quan cao. Bên cạnh đó, thực tế việc sử dụng hình thức KT - ĐG bằng trắc nghiệm trong dạy học cũng thu được những hiệu quả rõ rệt, đó là: - Đối với nhà trường: Tăng uy tín của nhà trường thông qua việc nâng cao năng lực của đội ngũ GV về các phương pháp dạy - học - đánh giá; có các công cụ để kiểm tra nhanh chóng và chính xác thành quả học tập; nâng cao hiệu quả và tiết kiệm thời gian trong việc đánh giá. - Đối với HS: Tăn