Tajuk 5

34
KESESUAIAN ITEM DAN KEBOLEHPERCAYAAN

Transcript of Tajuk 5

  • 1. KESESUAIAN ITEM DAN KEBOLEHPERCAYAAN

2. Sejauhmana alat tersebut dapatmengukur apa yang sepatutnya diukuroleh alat tersebut (Hanna & Dettmer,2004). Ciri kesahan bagi sesuatu alat ukuranadalah amat penting supaya alat ukurantersebut dapat mengukur apa yang hendakdiukur. 3. Alat yang dibina untuk mengukur sikap, hendaklah berupayamengukur sikap, dan bukannya konstruk lain, seperti minatatau motivasi. Ujian diagnosis adalah tidak sah digunakan untuk tujuanpenggredan. Dalam bidang bahasa,misalnya, ujian ejaan hanyalah sah,sekiranya ia benar-benar dapat mengukur kebolehanmengeja; ujian mendengar hanyalah sah, sekiranya ia dapatmengukur kemahiranmendengar. Contoh: mengenal pasti di antara kecergasanpernafasan kardio dan kebolehan bermain tenis. Contoh: Ujian kecergasan tidak boleh digunakanuntuk menentukan kemahiran dalam permainantenis. 4. Mehrensdan Lehmann (1991) - empat jenis kesahan (1) kesahan kandungan (content validity), (2) kesahan konstruk (contruct validity), (3) kesahan muka (face validity), dan (4) kesahan hubungan kriteria(criterion- related validity). 5. Sejauh mana sesuatu alat ukuran itu mencakupikandungan pelajaran yang telah ditetapkan.Kesahan kandungan adalah penting, terutamabagi ujian pencapaian, sebab markahyangdiperolehi pelajar akan menunjukkan tahappencapaian pelajar tersebut bagi kandunganpelajaran tertentu. Sekiranya soalan ujian tidak meliputi secukupnyakandungan pelajaran tersebut, penilaian terhadappencapaian pelajar menjadi tidak sah/bais. 6. Beberapakaedah boleh diguna untuk meningkatkan kesahan kandungan, seperti merujuksemula kepada buku rekod pengajaran dan juga sukatan pelajaran. Guru boleh menggunakan Jadual Penentuan Ujian (JPU) dan membina soalan-soalan ujian mengikut jadual tersebut. Kaedah-kaedah ini dapat memastikan soalan-soalan ujian mewakili semua objektif pengajaran serta semua tajuk dan kemahiran yang telah diajar. 7. 1.Pengetahuan Memerlukan calon mengingat semula. Contoh kata kerja: Labelkan (label) , Senaraikan (list),Nyatakan (state), Pilih (select), Ingatkembali (recall), Susun (arrange), Hasilkansemula (reproduce), Hubungkaitkan(relate), Beri definisi (define), Huraikan(describe). 8. 2. Kefahaman Memerlukan calonmemahami danmenghuraikan fakta serta memberi contohatau illustrasi. Contoh kata kerja: Terangkan (explain), Huraikan (describe),Ramalkan (predict), Tukarkan (change),Nyatakan semula (restate), Ringkaskan(summarise), Kaji semula (review),Bincangkan (discuss), Kenalpastikan(identify), Laporkan (report), Terjemahkan(translate). 9. 3. Aplikasi Memerlukan calon menyelesaikan masalah non-routine atau masalah baru. Ciri soalan adalahproblem-solving. Masalah diselesaikan dengancara tersendiri menggunakan gabungan teori,pengalaman dan pelbagai kaedah penyelesaianmasalah yang mempunyai unsur persamaan. Contoh kata kerja: Aplikasikan (apply), Tunjukkan (show), Kelolakan(organise), Kaitkan (relate), Tafsirkan (interpret),Selesaikan (solve), Lakarkan (sketch), Terapkan(adopt), Jadualkan (schedule). 10. 4. Analisis Memerlukan calon menganalisis,memecah/mencerakinkan fakta untuk mengkaji unsur-unsurnya secara mendalam termasuk membanding,membeza, mengupas dan membukti. Contoh kata kerja: Analisis (analyse), Taksirkan (appraise), Hitungkan(calculate), Bandingkan (compare), Kategorikan(categorise), Diskriminasikan (discriminate), Kaji(examine), Lakarkan (sketch), Kenalpastikan (identify),Buat kesimpulan (infer), Bahagikan (Subdivide),Tunjukkan (point out), Gariskan (outline), Bezakan(distingush/contrast), Buktikan (prove) 11. 5. Sintesis Memerlukan calon merancang, mereka/mencipta danmenghasilkan sesuatu yang kreatif yangmenggabungkan pelbagai unsur. Ini termasukpenghasilan sesuatu rancangan, rumusan,kaedah/prosedur, atau cadangan. Contoh kata kerja: Susunkan (arrange), Bentukkan (formulate), Aturkan(organise), Bina (build), Gambarkan (illustrate), Ubah(change), Karang (compose), Pasang (assemble),Semak (revise), Buat hipotesis (hypothesise),Ramalkan (predict), Uruskan (manage), Susun semula(reorder), Himpunkan (collect), Hasilkan (produce),Rancangkan (plan), Sediakan 12. 6. Penilaian Memerlukan calon menilai, membuatpertimbangan atau justifikasi untuk mencapai ataumendapatkan sesuatu kesimpulan. Calon perlumelihat fakta dari aspek pro dan cons semasamembuat penilaian. Contoh kata kerja: Taksirkan (evaluate), Nilaikan (appraise),Pertimbangkan (justify), Gredkan (grade), Sokong(support), Utamakan (prioritise), Arbitrasikan(arbitrate), Pertahankan (defend), Syorkan(recommend), Simpulkan (conclude), Ramalkan(predict), Kritik (criticize). 13. Kesahan konstruk/gagasan merujukkepada sejauh mana sesuatu alat ukuranitu dapat mengukur sesuatukonstruk/gagasan berasaskan teori Contoh, alat yang dibina untuk mengukurkonstruk sabar sepatutnya dapatmengukur konstruk ini dengan baik. Contoh: Kemahiran 14. Kesahanmuka bukanlah kesahan sepertidefinisinya yang kita fahami, tetapi ia lebihkepada sesuatu alat ukuran nampak padapermukaannya mempunyai kesahan yangtinggi. Ini bermaksud, sekali pandang, nampakalat ukuran itu sah, atau orang biasa/tidakterlatih nampak alat ini sebagai sah. 15. Bagaimanapun, kesahan muka mempunyai kepentingannyasendiri, mempengaruhi orang yang menjawab item inventorimerasa yakin terhadap inventori tersebut. Sekiranyainventori ini dirasakan tidak sesuai, besarkemungkinan orang tidak akan menjawab item-itemnyasecara serius, skornya dirasakan tidak sah dan, dengandemikian, tidakboleh digunakan. Sebaliknya, kesahan muka juga memberikan masalah kepadakesahan konstruk dan kesahan berkaitan kriteria, sebabnya,apabila seseorang itu mengetahui siapa yang ingin diukur, diaakan memberikan jawapan yang sentiasa positif. 16. Merujukkepada sejauh mana sesuatu alatukuran itu dapat menghasilkan skor yang mempunyai hubungan dengan beberapa ukuran luaran (kriteria). 17. Ukuranluaran ini boleh dibahagikan kepadadua jenis, iaitu pertama, ukuran serentak(concurrent measure), iaitu apabila ukuranluaran diambil serentak dengan ukuranalat;dan kedua, ukuran ramalan (predictivemeasure), iaitu apabila ukuran luarandiambilselepas ukuran alat. Daripada ukuran-ukuran luaran ini, kita bolehmencari kesahan serentak dan kesahanramalan seperti berikut. 18. Kesahan serentak merujuk kepada sejauh manasesuatu alat ukuran itudapat menghasilkan skoryang mempunyai hubungan denganukurandaripada alat lain yang diambil serentak. Sebagai contoh, sekiranya alat ukuran kecerdasanA menghasilkan skor yangmempunyai hubungan(pekali korelasi tinggi) yang kuat dengan skordaripada alatukuran kecedasan B, maka alat Adikatakan mempunyai kesahan serentakyangtinggi. Dengan demikian, alat A bolehmengganti alat B untuk mengukur kecerdasan 19. Kesahan ramalan merujuk kepada sejauh manasesuatu alat ukuran itudapat menghasilkan skoryang mempunyai hubungan denganukurandaripada alat lain yang diambil kemudian Sebagai contoh, sekiranya ujian percubaanmatematik menghasilkan markah yangmempunyaihubungan yang kuat dengan gred matematik SPM,maka ujian matematikpercubaan dikatakanmempunyai kesahan ramalan yang tinggi. Inibermaknapencapaian pelajar dalam ujianpercubaan dapat meramal keputusan SPM. 20. Bagaimanapun, kesahan muka mempunyaikepentingannya sendiri, mempengaruhi orangyangmenjawab item inventori merasa yakin terhadapinventori tersebut. Sekiranyainventori ini dirasakan tidak sesuai, besarkemungkinan orang tidak akan menjawab item-itemnya secara serius, skornya dirasakan tidak sahdan, dengan demikian, tidakboleh digunakan. Sebaliknya, kesahan muka juga memberikan masalahkepada kesahankonstruk dan kesahan berkaitankriteria, sebabnya, apabila seseorang itumengetahuisapa yang ingin diukur, dia akanmemberikan jawapan yang sentiasa positif. 21. Ketekalanukuran-ukuran (consistency ofmeasures) yang dihasilkan oleh alattersebut(Hanna & Dettmer, 2004).- Justeru, kebolehpercayaan ujianbermaksud ketekalan markah-markahyang dihasilkan oleh ujian tersebut 22. Darjah ketekalan ukuran-ukuran boleh ditentukandalam pelbagai keadaan, misalnya, apabila ujianyang sama diambil oleh pelajar kali kedua, ujianyang sama ditadbirkan oleh guru lain,ujian yangsama diambil oleh pelajar pada waktu yangberbeza (pagi/petang), jawapan kepadaujian yangsama diperiksa oleh pemeriksa yang berbeza.Ujian yang baik/sesuai adalah ujianyangmempunyai darjah ketekalan (degree ofconsistency) yang tinggi, iaitu markah/skoryangdihasilkan adalah hampir sama dalam apa juakeadaan. 23. Dari segi definisi operasi, pekali/indeks kebolehpercayaan boleh dikira/dianggar (compute/estimate) dengan menggunakan pekali korelasi antara dua (2) ukuran yang boleh dikira menggunakan pelbagai kaedah 24. Seperti julat pekali korelasi, julat indeks kebolehpercayan jugaadalah antara -1.00 hingga + 1.00. Indeks kebolehpercayaan negatifmenunjukkan ketekalan yang songsang, iaitu pelajar yang mendapatskor tinggi dalam ujian kali pertamaakan mendaapat skor yangrendah dalam ujian kali kedua, dan sebaliknya. Kita berharapkeadaan begini tidak berlaku dalam mana-mana ujian.Kebiasaannya indeks kebolehpercayaan bernilai positif, dan bagikebanyakan ujian, indeks antara 0.65 dan 0.85 adalah memadai. 25. Sebagai panduan, kebolehpercayaan ujian boleh ditafsirkanmengikut indeks (r) seperti yangditunjukkan dalam Jadual5.5.Seterusnya, Mehrens dan Lehmann (1991)menyenaraikan lima jenis kebolehpercayaan danjuga kaedahmenentukan indeksnya. Jenis-jenis kebolehpercayaantersebut ialah: (1) UkuranKestabilan (Measure of Stability),Ukuran Kesetaraan (Measure of Equivalence), (3)UkuranKesetaraan dan Kesetabilan (Measure of Equivalenceand Stability ), (4) Ukuran KetekalanDalaman (Measure ofInternal Consistency), dan (5) Kebolehpercayaan Pemeriksa(ScorerReliability). Jenis-jenis kebolehpercayaan, kaedahpengukuran dan kaedah pengiraan indekskebolehpercayaanberkenaan dijelaskan dalam bahagian berikut. 26. Jadual 5.5: Indeks Kebolehpercayaandan Pengkelasan Ujian Nilai Nilai (r) Pengkelasan Ujian < 0.20 Tidak baik 0.21 0.40 Kurang baik 0.41 0.60 Sederhana baik 0.61 0.80 Baik 0.81 1.00 Sangat baik 27. Mehrens dan Lehmann (1991) menyenaraikanlima jenis kebolehpercayaan dan juga kaedah menentukan indeksnya. Jenis-jeniskebolehpercayaan tersebut ialah: (1) Ukuran Kestabilan (Measure of Stability), UkuranKesetaraan (Measure of Equivalence), (3) Ukuran Kesetaraan dan Kesetabilan (Measure ofEquivalence and Stability ), (4) Ukuran Ketekalan Dalaman (Measure of Internal Consistency), dan(5) Kebolehpercayaan Pemeriksa (Scorer Reliability). 28. UkuranKestabilan, yang juga dipanggilanggaran kebolehpercayaan uji-uji semula (test-restest estimate of reliability)boleh dikira dengan memberikan ujian yang sama sekali lagi kepada kumpulanpelajar yang sama selepas ujian pertama ditadbirkan, dan seterusnya,mengira pekali korelasi Pearson antara dua/pasangan skor yang diperolehsetiap pelajar. 29. Berbeza daripada kaedah uji-uji semula yangmenggunakan ujian yang sama, Ukuran Kesetaraan [atau Ukuran Keselarian(parallel)] dikira dengan memberikan dua (2) ujian yang berbeza tapi setara(kesamaan dari segi kandungan, Jadual Spesifikasi Ujian, formatsoalan dan arahan menjawab serta min, varians dan interkorelasi skor) kepadakumpulan pelajar dan hari yang sama, dan seterusnya, mengira pekalikorelasi Pearson antara dua/ pasangan skor yang diperoleh setiap pelajar. 30. Ukuran Kesetaraan ini akan menggambarkan tahap keyakinankepada kita untuk membuat generalisasi skor yang akan diperoleh pelajar, sekiranyamereka diberi ujian yang terdiri daripada item-item lain yang setara dengan item-item ujianyang telah diberikan. Ujian yang setara ini penting sekiranya seseorang penyelidikenggan menggunakan soalan yang sama sebagai ujian-pra dan ujian-pos (untuk mengelakdaripada pelajar menghafal jawapan). Dalam hal ini, dua ujian yang setara bolehdigunakan, satu sebagai ujian-pra dan satu lagi sebagai ujian-pos. Selain itu, ujian yang setarajuga boleh digunakan untuk menguji dua kumpulan pelajar yang berbeza pada berlainanmasa. 31. Ada kalanya kita ingin melihat ketekalan pencapaianseseorang pelajar untuk jangkamasa yang panjangdengan menggunakan ujian yang berbeza. Justeru,kaedah yang sesuai untuk membuat pengukuran iniialah dengan mentadbirkan ujian kedua yangsetaradengan ujian pertama (Ukuran Kesetaraan)pada suatu masa yang lain (UkuranKestabilan).Kebolehpercayaan ini, yang merangkumi UkuranKesetaraan dan UkuranKestabilan, dinamakan UkuranKesetaraan dan Kestabilan. Indekskebolehpercayaanini boleh ditentukan oleh pekalikorelasi Pearson antara dua/pasangan skor yangdiperolehsetiap pelajar, iaitu skor ujian pertama danskor ujian kedua yang ditadbirkan kemudian 32. Berbeza daripada ketiga-tiga ukuran ketekalanyang dijelaskan sebelum ini, Ukuran Ketekalan Dalaman boleh ditentukan denganmenggunakan sekali ujian sahaja. Salah satu daripada kaedah yang digunakan untukmengukur ketekalan dalaman ialah dengan membelah/memecahkan ujian kepada separuh-separuh (split-half), iaitu separuh pertama dan separuh kedua. Ukuran Ketekalan DalamanBelah-Dua ini dapat menggambarkan kesetaraan dalaman ujian, iaitu antara separuhpertama dengan separuh kedua sesuatu ujian. 33. Kebolehpercayaanpemeriksa bermaksudketekalan ukuran/skor yang diberikan oleh dua atau lebih pemeriksaapabila memeriksa kertas jawapan yang sama. Kebolehpercayaan ini tidakdiperlukan bagi ujian berbentuk objektif, sebab jawapan kepada setiap soalandalam ujian bentuk ini adalah sama, iaitu perbezaan skor antara pemeriksatidak wujud (biasanya jawapan diperiksa oleh komputer sahaja). 34. Beberapafaktor didapati mempengaruhi kebolehpercayaan ujian, termasuk panjang ujian, kehomogenan kumpulan, kesukaran item dan objektiviti jawapan.