Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

download Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

of 20

Transcript of Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    1/20

    :;

    ~

    ,;;

    II

    Pentaksiran Pendidikan: Di antara Mitos dan RealitiOthman bin Lebar, (Phd.)Universiti Pendidikan Sultan ldris

    AbstrakKertas ini merupakan perbincangan ten tang isu-isu berkaitan dengan pentaksiranpembelajaran. Tumpuan akan diberi kepada membincangkan tentang kelebihan dankelemahan pentaksiran piawai serta kesannya ke atas kurikulum, pengajaran,pembelajaran dan pelajar. Persoalan-persoalan yang akan dibincangkan antaranyaadalah: Adakah berlaku ketidakpadanan apa yang diuji dalam ujian piawai dengan apayang sepatutnya diajar oleh guru di sekolah? Setakatmanakah keputusan skor ujianpiawai boleh digunakan untuk mengukur keberkesanan sekolah atau untuk dijadikanasas bagi menentukan sekolah berpencapaian tinggi dan sekolah berpencapaian rendah?Setakatmanakah ujian piawai menyumbang kepada peningkatan pengajaran danpembelajaran? Sejauhmanakah ujian piawai memberi tekanan kepada guru dan sekolah?Patutkah skor ujian pelajar dijadikan indikator keberkesanan sekolah? Adakahpenekanan yang lebih ke atas ujian piawai telah menguncupkan kandungan kurikulumyang di ajar di sekolah? Adakah guru hanya mengajar topik-topik/kandungan yangdijangka akan keluar dalam peperiksaan piawai sahaja? Adakah tekanan ujian piawaimenyebabkan berlakunya penipuan ujian dalam kalangan guru dan pelajar? Sesuaidengan isu cadangan pemansuhan UPSR dan PMR, perbincangan ini akan cubamemberikan analisis terhadap pentaksiran pembelajaran di peringkat sekolah rendahdan sekolah menengah di Malaysia dengan merujuk kepada penyelidikan-penyelidikanyang telah dilakukan di dalam dan di luar negara. Seterusnya satu kerangka modelpentaksiran akan dibincangkan sebagai pentaksiran alternatif kepada UPSR dan PMR.

    Pengenalan

    Dalam membincangkan tentang konsep dan proses pembelajaran hari ini dan akandatang, terdapat beberapa keperluan yang harus diberi perhatian. Di antaranya ialahkebergantungan yang lebih kepada teknologi komunikasi dan komputer yangmenyumbang kepada tahap dan bentuk baru dalam kreativiti dan pembelajaran pelajar-peiajar; perubahan dalam peranan guru daripada 'pendita di atas pentas' kepada mentor,penyeiidik, pengguna teknologi, penghasiJ pengetahuan, pengambiJ risiko dan pembeiajarseumur hidup; penglibatan ibubapa secara aktif dalam pembelajaran anak-anak mereka;serta perkongsian an tara organisasi masyarakat dan industri dengan sekoJah bagimembolehkan mereka terJibat secara aktif di sekolah.

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    2/20

    Daripada keperluan di atas, jelas menunjukkan bahawa sekolah pada masa ini dan masahadapan mestilah lebih terbuka dan fleksibel. Kemudahan teknologi komunikasi yangada akan meningkatkan lagi kolaborasi antara pelbagai pihak. Apa yang lebih pentingadalah guru-guruperlu diberi sokongan yang sesuai dalam penggunaan teknologi barudalam pengajaran dan pembelajaran serta dalam perkembangan profesionalisme mereka.Bagi peJajar pula, mereka perlulah berkeupayaan menggunakan teknologi tersebut untukmencapai satu tahap pembelajaran yang baru serta mendapatkan kemahiran-kernahiranteknologi maklumat yang baru. Ini jelas menunjukkan bahawa banyak kernahiran-kemahiran baru yang diperlukan dalam masyarakat 'on-line' yang berasaskan maklumatini. Kebolehan-kebolehan untuk menyesuaikan dengan pantas kepada situasi-situasi danteknologi baru serta berupaya memproses maklumat yang begitu banyak.

    Selaras dengan perubahan dan keperluan tersebut, pentaksiran pencapaian pelajar perlumengalami perubahan hasil daripada tuntutan pengetahuan dan kebolehan baru yangdihadapi oleh pelajar-pelajar. Dalam tuntutan ekonomi global, pelajar-pelajar perlumemahami bukan sahaja pengetahuan dan kemahiran asas tetapi juga berupaya berfikirsecara kritis, membuat analisis serta membuat inferensi. Membantu pelajar membinakemahiran-kemahiran ini memerlukan perubahan dalam pentaksiran di peringkat sekolahdan bilik darjah, begitu juga dengan pendekatan baru ke atas pentaksiran peringkatnasional.

    Konsep Pembelajaran dan Pengetahuan

    Mengikut teori pembelajaran awal, kemah iran tahap tinggi yang kompleks perlu dikuasaisedikit demi sedikit dengan memecahkan pembelajaran kepada kemahiran-kemahiranprasyarat, iaitu pendekatan yang dipanggil 'building-block-of-knowledge'. Dalamkonteks perkernbangan teori pembelajaran pada masa ini memperlihatkan perkembanganyang menarik dalam bidang sains kognitif. Konsep kecerdasan telah mengalamiperubahan hasil daripada kajian-kajian yang telah dijalankan oleh ahli-ahli psikologi limabelas tahun kebelakangan ini. Yang jelasnya terdapat kecenderongan melihat kecerdasansebagai satu potensi yang pelbagai dimensi. Konsep kecerdasan yang dikemukakan oleh

    2

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    3/20

    Howard Gardner dan rakannya Sternberg misalnya ban yak mempengaruhi pendekatan keatas konsep kecerdasan. Gardner dengan teori pelbagai kecerdasan dan Sternberg dengan"Triarchic Theory" menunjukkan yang kecerdasan tidak semata-rnata bergantung kepadakeupayaan seseorang dalam mengingat fakta serta menyelesaikan masalah logikmatematik, lisan dan bahasa semata-rnata seperti yang terdapat dalam Ujian Kecerdasan(lQ Test), tetapi kecerdasan seseorang banyak bergantung kepada keupayaannyamenggunakan pemikirannya untuk menyesuaikan diri dan perlakuannya denganpersekitarannya. Dengan ertikata lain, seseorang yang dikatakan mempunyai perlakuankecerdasan bergantung kepada konteks, budaya serta jenis tugasan yang perludiselesaikannya.

    Bukti daripada psikologi kognitif kontemporari menunjukkan yang semua pembelajaranmemerlukan pelajar berfikir dan secara aktif membina model-model mental. Denganertikata lain, pembelajaran bermakna adalah merupakan sesuatu yang reflektif,konstruktif dan terarah-kendiri (self-regulated). Manusia dilihat bukan sahaja sebagaipenerima maklumat tetapi juga sebagai pencipta struktur-struktur pengetahuan merekayang unik. Untuk mengetahui dan memahami sesuatu bukan sahaja mencerna maklumattetapi juga menginterpretasi dan menghubungkaitkan dengan pengetahuan yang sediaada. lni menunjukkan pentingnya bukan sahaja mengetahui bagaimana melakukansesuatu tetapi juga bila hendak melakukannya dan bagaimana hendak menyesuaikanperlakuan dengan situasi-situasi baru. Pembelajaran dalam pengertian ini bukan lahmerupakan sesuatu yang linear, tetapi berlaku dalam pelbagai arah secara serentak danmengikut kadar yang tidak sama. Pembelajaran tentang sesuatu konsep misalnya bukanlah sesuatu yang boleh ditangguhkan sehingga mencapai umur-umur tertentu atausehingga semua fakta-fakta asas telah dikuasai. Manusia di semua peringkat umur dantahap kebolehan sentiasa mengguna dan memperbaiki konsep. Dalam konseppembelajaran yang begini, sudah tentulah memerlukan penilaian yang mementingkanbagaimana pelajar mengatur, menstruktur dan mengguna maklumat dalam sesuatukonteks bagi menyelesaikan masalah-rnasalah yang kompleks.

    3

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    4/20

    Apa yang dinyatakan oleh Gardner dan Sternberg tersebut ada keserasiannya denganpandangan ahli-ahli teori pendidikan lain yang melibat pelajar pada masa ini dan akandatang perlu mempunyai keupayaan yang tinggi dalam menyesuaikan diri denganperubahan-perubahan teknologi dan sosial yang pantas berubah.

    Perubahan-perubahan dalam kemahiran serta pengetahuan yang diperlukan untukkejayaan, pemahaman kita terhadap pembelajaran pelajar serta hubungan antarapentaksiran dan pengajaran telah mengubah matlamat-matlamat yang perlu dicapai untukpelajar dan sekolah. Sehubungan dengan itu, strategi-strategi pentaksiran perlu diubahuntuk mengaitkan rekabentuk pentaksiran dan kandungan dengan tujuan dan hasilpernbelajaran yang baru untuk penilaian.

    Konsep Pentaksiran

    Secara umumnya pentaksiran boleh difahamkan sebagai sebarang metod yang digunakanuntuk menambah kefahaman tentang pengetahuan semasa yang dimiliki oleh pelajar. Inimembawa maksud yang pentaksiran boleh jadi sesuatu yang mudah seperti penilaiansubjektif guru berdasarkan satu pemerhatian ke atas prestasi pelajar atau sesuatu yangkompleks seperti lima jam ujian piawai. Idea yang berkaitan dengan pengetahuan semasamenunjukkan apa yang pelajar tahu adalah sentiasa berubah dan kita boleh membuattelahan tentang pencapaian pelajar melalui perbandingan dalam satu jangka masatertentu.

    Metod pentaksiran yang digunakan banyak ditentukan oleh kepercayaan kita tentangpembelajaran. Pengaruh pentaksiran dalam perkembangan kurikulum dan pengajaranadalah besar. Malab perubahan dalam kurikulum perlu diikuti dengan perubahan dalam

    d pentaksiran. Yang pentingnya apakah bentuk pentaksiran yang sesuai dengan perubahankurikulum itu? Adakah pentaksiran yang ban yak berasaskan kepada soalan pendek dananika pilihan dapat rn en gukur keupayaan sebenar pelajar seperti yang dicadangkan olehperubahan dalam kurikulum? Apakah bentuk pentaksiran alternatif yang lebih berkesandalam mengukur hasil pembelajaran yang signifikan yang diperlukan untuk pelajar

    4

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    5/20

    mencapainya dan lebih sesuai dengan tugasan-tugasan yang pelajar perlu laksanakan bagimempastikan kejayaan mereka di masa depan?

    Pentaksiran piawai boleb didefinisikan sebagai metod untuk mendapatkan sampelanperlakuan dengan menggunakan prosedur yang seragam. Maksud prosedur yang seragamadalah set soalan yang sama ditadbir dengan menggunakan arahan yang sarna sertaprosedur penskoran yang seragam. Mengikut Mehren & Lehman (1984) biasanyapentaksiran tara disediakan secara komersial oleh pakar pentaksiran. Menurut merekalagi, pentaksiran piawai boleh diklasifikasikan secara umum kepada tiga ujian:

    I. Ujian Aptitud11. Ujian Pencapaian111. lnventori Minat, Personaliti dan Sikap

    Kertas kerja ini hanya akan memfokuskan kepada Ujian Pencapaian sahaja. Pentaksiranpiawai juga sering dikaitkan dengan istilah 'High-Stake'. Hubungan ini ada kaitannyadengan polisi pendidikan di Amerika dan England dan kebanyakan negara lain di duniayang menjadikan keputusan ujian piawai sebagai asas untuk membuat keputusan pentingtentang kedudukan serta masa depan pelajar-pelajar, kualiti pengajaran guru serta kualitisesebuah sekolah. Dengan ertikata lain, pelajar-pelajar dikehendaki mendudukipeperiksaan piawai yang ditentukan oleh kerajaan dan berdasarkan keputusanpeperiksaan tersebut akan ditentukan kedudukan pelajar sama ada akan terus melanjutkanpelajaran ke tahap yang lebih tinggi, ataupun ditahan dikelas yang sama sehingga pelajarmencapai pencapaian yang sepatutnya untuk dinaikkan ke tahap yang lebih tinggi. Iniseperti yang diamalkan di sesetengah negeri di Amerika Syarikat.

    Andaian dan logik yang digunakan oleh kebanyakan negeri-negeri di Amerika Syarikat,England dan negara-negara lain tentang pentingnya pentaksiran piawai adalah berkaitandengan soal peningkatan standard pendidikan serta akauntabiliti atau kawalan ke ataspersekolahan. Kurikulum berasaskan standard dan pentaksiran berasaskan standardmerupakan pemikiran yang telah menguasai dunia pendidikan persekolahan dikebanyakan negara terutama pada tahun-tahun 1980an hinggalah sekarang. Di England

    5

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    6/20

    umpamanya, dengan terbentuknya 'national curriculum', menjadikan semua prosedurberkaitan dengan pengajaran dan pentaksiran di sekolah perlu diseragamkan untuk tujuanmemudahkan pengawalan dilakukan ke atas sekolah dan guru-guru. lni secara langsungtelah meningkatkan kawalan pihak pusat ke atas kurikulum serta pentaksiran di sekolah.Peningkatan standard adalah berkaitan dengan reform pendidikan yang dijalankan untukmeningkatkan pencapaian pelajar dan menentukan standard. Akauntabiliti pula berkaitandengan tanggungjawab yang perlu ditunjukkan oJeh pihak sekolah dan guru-guru dalammeningkatkan pencapaian pelajar. Pencapaian pelajar ini diukur melalui skor merekadaJam pentaksiran piawai yang ditetapkan oleh pihak yang berkuasa.

    Pada asasnya, pentaksiran piawai digunakan untuk tiga fungsi utama iaitu fungsiadministratif yang menyediakan perbandingan skor individu pelajar bagi membolehkankeputusan tentang penempatan pelajar dibuat; fungsi bimbingan (guidance) yangmenandakan kekuatan dan keJemahan pelajar bagi membolehkan pelajar membuatkeputusan yang sesuai tentang bidang pengajian mereka; dan fungsi akauntabiliti yangmenggunakan skor pelajar untuk menilai keberkesanan guru dan sekolah (Robinson &Craver, 1989)

    Di negara ini, penilaian pencapaian pelajar di adakan dalam dua bentuk iaitu melaluipentaksiran piawai atau pentaksiran nasionaJ seperti UPSR, PMR, SPM dan STPM yangnormanya ditentukan oleh agensi pusat seperti Lembaga Peperiksaan dan MajlisPeperiksaan Malaysia. Sebagaimana juga dengan pentaksiran piawai di negara-negaralain, ianya bertujuan untuk rnengukur pencapaian pelajar bagi tujuan untuk membuatperbandingan antara individu, antara sekolah, antara daerah, antara negeri dan juga untukmeneliti pencapaian peJajar dari se tahun ke setahun.

    Bentuk penilaian.kedua ialah pentaksiran berasaskan sekolah. lni merangkumi bentuk-.bentuk ujian yang disediakan oleh pihak-pihak tertentu seperti Lembaga Peperiksaan danujian buatan guru. Bentuk penilaian ini boleh berbentuk ujian rujukan norma atau punujian rujukan kriteria bergantung kepada tujuan ujian dijalankan. Perkembangan akhir-akhir ini menunjukkan yang penilaian berasaskan sekolah telah diberikan penekanan

    6

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    7/20

    yang lebih. lni jelas daripada peluang yang diberikan kepada guru untuk menilai pelajar-pelajar melalui projek-projek tertentu sebagai sebahagian daripada penilaian kebangsaanseperti Penilaian Menengah Rendah.

    Kesan Pentaksiran Piawai

    Soalan-soalan berikut akan dijadikan asas dalam membincangkan tentang kesan ujianpiawai ke atas kurikulum dan pembelajaran di sekolah:

    I. Adakah berlaku ketidaksepadanan apa yang diuji dalam ujian piawai dengan apayang sepatutnya diajar oleh guru di sekolah?

    II. Setakatmanakah keputusan skor ujian piawai boleh digunakan untuk mengukurkeberkesanan sekolah atau untuk dijadikan asas bagi menentukan sekolahberpencapaian tinggi dan sekolah berpencapaian rendah?

    11 1 . Setakatmanakah ujian piawai menyumbang kepada peningkatan pengajaran danpembelajaran?

    IV. Sejauhmanakah ujian piawai memberi tekanan kepada guru dan sekolah?v. Patutkah skor ujian pelajar dijadikan indikator keberkesanan sekolah?VI. Adakah penekanan yang lebih ke atas ujian piawai telah menguncupkan

    kandungan kurikulum yang di ajar di sekolah? Adakah guru hanya mengajartopik-topik/kandungan yang dijangka akan keluar dalam peperiksaan piawaisahaja?

    VlI. Adakah tekanan ujian piawai menyebabkan berlakunya penipuan ujian dikalangan guru dan pelajar?

    Sesuatu strategi pentaksiran itu perlu diberi pertimbangan yang sewajarnya sama adaujian yang digunakan itu sebenarnya mern bant u atau menghalang kualiti pendidikan yangditerima oleh pelajar. Berdasarkan premis tersebut, banyak kritik yang dilernparkan keatas pentaksiran piawai menarn pakkan kelemahannya dalam menyediakan maklumatyang komprehensif bagi menjelaskan pencapaian pelajar . Pentaksiran piawai dikatakanmemberi fokus yang sempit, menekankan hafalan dan ingatan yang membawa kepada

    7

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    8/20

    penyempitan kurikulum serta memberi peluang yang sedikit kepada amalan kemahiranpemikiran peringkat tinggi (Shepard & Dougherty, 1991, McNeil, 2000, Orfield & Wald,2000, Pophams, 200 I, Torrance, 2002). Lantas dikatakan tidak begitu sesuai digunakanuntuk dijadikan asas kepada pembuatan keputusan ke atas keberkesanan pembelajaran,pengajaran dan sekolah.

    Pentaksiran piawai juga sering dikaitkan dengan kurikulum berasaskan ujian (test-drivencurriculum). Dengan ertikata lain, wujudnya sindrom 'mengajar untuk ujian/peperiksaari'yang menyebabkan pengajaran guru tertumpu kepada mengingat fakta untuk persediaanmenghadapi ujian. Keadaan di mana skor-skor ujian digunakan sebagai asasperbandingan yang bukan sahaja untuk menentukan nasib tiap-tiap individu pelajar tetapijuga untuk menilai kualiti guru dan sekolah, menjadikan sindrom 'mengajar untuk ujian'ini lebih ketara. Dalam hubungan ini, tujuan utama pentaksiran piawai adalah untukmengatur dan memilih bilangan pelajar yang ramai seberapa efisien yang mungkin.Matlamat yang terhad ini menjadikan penggunaan soalan-soalan pendek dan anikapilihan merupakan bentuk ujian yang sesuai. Apabila ujian dijalankan dalam bentukyang sedemikian, kemahiran-kernahiran seperti menulis, bertutur, melukis, membina,membaikpulih dan lain-lain kemah iran yang sepatutnya diajar di sekolah secaraotomatiknya telah menjadi perkara sampingan.

    Banyak pendapat yang mengatakan ujian piawai tidak sepatutnya digunakan untukmenilai kualiti persekolahan/pembelajaran pelajar sebab terdapat ketidakpadanan yangsignifikan di antara apa yang diuji dengan apa yang sepatutnya di ajar, danketidaksepadanan ini selalunya tidak disedari/diambil perhatian (Popham, 2001).Mungkin terdapat satu persamaan atau keseragaman yang umum dari segi kurikulumyang digunakan oleh sekolah-sekolah di daerah, negeri, terutama yang menggunakan'national curriculum' atau pun 'state-mandated curriculum'. seperti di Amerika Syarikat.Namun, kemungkinan penekanan yang diberi ke atas satu-satu aspek atau bidang dalamkurikulum itu adalah berlainan. Walaupun pembina ujian piawai mengambil kiraperbezaan tersebut untuk menyesuaikan dengan calon yang pelbagai, banyak bukti yangmenunjukkan bahawa pendekatan kurikulum 'one-size-fits-all' adalah biasanya gagal

    8

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    9/20

    untuk memuaskan hati semua pihak. Terdapat banyak contoh yang tidak disedari tentangketidakpadanan apa yang diajar dengan apa yang diuji. Dalam hal ini, Popham memberikomen, "If you look carefully at what the items in a standardized achievement tests areactually measuring, you'll often find that half or more what's tested wasn't evensupposed to be taught in a particular district or state ... " (ms. 43.)

    Selain daripada itu, ujian piawai juga dikatakan telah mengalihkan pandangan/perhatianguru daripada membuat keputusan pendidikan yang penting. Ribuan guru mendapati dirimereka terperangkap dalam 'score-boosting obsession' (Popham, 2001) yangsesungguhnya menggugat keberkesanan mereka dalam mengajar. Soalan yang kritikal"Bagaimana kita mengajar Ali tentang perkara yang ia perlu ketahui" dikesampingkanoleh soalan yang kurang penting "Bagaimana kita meningkatkan skor Ali dalam ujianpiawai yang akan didudukinya nanti?" Popham (2001) menjelaskan lebih lanjut Jagiperkara ini seperti berikut:'This instructionally corrupt test preparation is a velY effective way of raising student'sscores on a high-stakes test .....Although student's test score may improve, their masteryof the content on which the test is based may remain unchanged. What emerges fromtesting is an altogether inaccurate picture of a student's true level of achievement. Inturn, these inaccurate performance level assessments lead teachers to makeinappropriate instructional decisions about those students '. (111S. 24)

    Tekanan untuk meningkatkan skor pelajar dalam ujian piawai juga telah menyaksikankurangnya perhatian diberikan kepada subjek yang tidak termasuk dal am ujian piawai.Ini menyebabkan berlakunya penguncupan kurikulum. (Shepard & Dougherty, 1991,Sacks, 1999, Orfield &Wald, 2000, Popham, 200 J ) hasil daripada sindrom 'teach what istested,' avoid what isn't' dan 'survival of content that fittest best the high-stakes test'(Popham, ms. 20). Mengikut Popham lagi , "the curriculum content assessed by high-stakes tests tends to drive other subjects and other cognitive skills from teachers'classrooms. The erosion of a rich curriculum clearly robs our children of importantthings they should be learning ... " (ms. 20).

    9

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    10/20

    Berkait rapat dengan penguncupan kurikulum adalah kecenderongan guru-guru untukmengadakan latih-tubi sebanyak mungkin ke atas jenis-jenis item ujian yang terkandungdalam ujian piawai. Situasi ini dijelaskan dengan lebih lanjut lagi oleh Popham, ' ... suchrepetitious instructional activities tend to deaden students' genuine interest in learning.All the excitement and intellectual vibrancy that students might encounter during a reallyinteresting lesson are driven out by a tedious test-fostered series of drill ... Teachers whoare so driven to raise test scores that they transform their classrooms into cram-focused,assembly-line factories risk extinguishing their students' love oflearning" (ms. 21-23)

    Dalam konteks di mana ujian piawai digunakan sebagai asas untuk melabel sekolah yanglemah dan sekolah yang cemerlang adalah didapati tidak sesuai dan tidak tepat samasekali. lni adalah memandangkan bahawa skor ujian piawai itu tidak dapatmenggambarkan situasi sebenar tentang pencapaian pelajar dan pencapaian sekolah.Popham (200]) mengatakan bahawa terdapat faktor- faktor lain yang mernpengaruhi skorpelajar-pelajar dalam ujian piawai. Di antaranya adalah faktor status sosio-ekonomi sertaaptitud akademik yang diwarisi daripada ibubapa. Banyak bukti yang menunjukkanbahawa bagi sekolah-sekolah yang pelajarnya terdiri daripada status sosio-ekonomi tinggimernpun yai pencapaian yang lebih baik daripada sekolah yang mempunyai pelajardaripada sosio-ekonomi rendah. Dengan ertikata lain terdapat korelasi yang tinggi diantara status sosio-ekonomi dan skor pelajar dalam ujian piawai (Sacks, 1999, McNeil,2000, Popham, 2001).

    Satu lagi fenomena yang berlaku hasil daripada penekanan yang lebih ke ataspeningkatan skor pelajar dalam ujian tara ialah penipuan dalam ujian sama ada dilakukanoleh pelajar mahupun guru-guru. (Shepard & Dougherty, 1991, Popham, 2001).Fenomena 'test-pressured cheating' ini semakin bertambah dari semasa ke semasaterutama di kalangan guru-guru. Sebagai contoh, dalarn tempoh tahun akademik 1999 -2000, seramai 52 orang guru dariapda sekolah awam Bandaraya New York dikenakandenda berkaitan dengan penipuan dalam ujian (Popham, 2001). Penipuan yang dilakukansemasa mentadbirkan uj ian piawai oleh guru-guru dan pentadbir. Bentuk penipuan yangselalunya dilakukan adalah seperti berikut:

    10

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    11/20

    Memberi masa yang lebih daripada yang ditetapkan kepada pelajar untukmenjawab

    Memberi panduan (hints) tentangjawapan yang betul Meneliti jawapan pelajar dan kemudiannya meminta pelajar memikirkan semula

    jawapannyaFenomena di atas merupakan satu 'score-boosting conspiracy' yang boleh merosakkanpengajaran dan pembelajaran di sekolah.

    Dari segi aspek yang lebih teknikal pula, terdapat kecenderongan mengenepikan item-item yang merangkumi kandungan pelajaran yang penting. Oleh kerana skor ujianpiawai lebih ditafsirkan dari segi pentafsiran rujukan norma, maim perbandinganpencapaian individu, sekolah adalah penting. Oleh itu, sesuatu ujian itu perlulahmenghasilkan satu darjah sebaran skor yang substantial di kalangan pelajar. Situasi inidari segi teknikalnya juga ada kaitan dengan kebolehpercayaan ujian. Ada kaitan dianatara sebaran skor dengan penentuan teknikal kebolehpercayaan ujian. Lebih baiksebaran skor, lebih tinggi kebolehpercayaan uj ian (Popham, 2001). Sehubungan denganitu juga, dari segi pemilihan ujian piawai, aspek kebolehpercayaan ujian merupakanfaktor yang penting. Sudah tentulah ujian-ujian yang tinggi kebolehpercayaannya akanmempunyai nilai jualan yang tinggi.

    Dari sudut yang lain pula, terdapat aspek teknikal tentang bentuk item ujian yangmenyumbang secara berkesan kepada sebaran skor. Ia berkaitan dengan item ujian yangdijawab dengan betul oleh lebih kurang 50% calon. Biasanya ini merujuk kepada 'nilai-p' yang menandakan peratus pelajar yang menjawab dengan betul sesuatu item.Sekiranya nilai-p item itu adalah .85, ini bermakna 85% pelajar menjawab dengan betuJitem itu. Item yang boJeh memberi sumbangan yang terbaik kepada sebaran skor adalahitem-item yang nilai-p di antara .40-.60. Oleh itu, mengikut Popham, tidaklahmenghairankan kebanyakan item-item daJam ujian pencapaian piawai mempunyai niJai-pdalam renj nilai tersebut. Item yang mempunyai niJai-p .80 atau .90 jarang dimasukkandalam ujian piawai kerana dianggap sebagai item yang terlaJu mudah dan tidak

    Ii

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    12/20

    menyumbang kepada sebaran skor. Sekiranya perkara ini dilihat dalam konteks bilikdarjah, biasanya semakin penting sesuatu kandungan kurikulum itu, semakin ban yakpenekanan yang diberikan oleh guru ke atasnya. Semakin banyak penekanan diberikanbiasanya semakin baik skor pelajar berkaitan dengan item yang mengukur kandungantersebut dalam ujian. Semakin baik skor pelajar ke atas item-item tersebut, semakinbesar kemungkinan item itu akan digugurkan daripada ujian. Item itu dikatakanmempunyai nilai-p yang tinggi dan tidak menyumbang kepada sebaran skor walaupunkandungan kurikulum yang diuji adalah penting. Situasi ini menjadikan kecenderonganujian piawai mengenepikan kandungan kurikulurn yang penting.

    Faktor-faktor lain yang boleh mernpengaruhi sebaran skor dalam ujian piawai adalahfaktor status sosio-ekonorni pelajar. Seperti yang dinyatakan sebeluin ini, banyak buktiyang menunjukkan terdapat korelasi yang tinggi di an tara pencapaian akademik denganstatus sosio-ekonorni. (Torrance, 2002, Popham, 2001). Dari aspek yang lebih mikropula, sekiranya diteliti item-item yang terdapat dalam ujian piawai, didapati wujudnyaitem-item yang berkait dengan status sosio-ekonorni. Popham menjelaskan perkara inidengan mengatakan, "There are many, many SES-linked items in today's standardizedachievement tests. These items do afantastic job of spreading out examinees' scores, butthey do a miserable job of helping evaluate a school staff's real effectiveness. Even afewstandardized achievement test items answered correctly or incorrectly can make asubstantial difference in a school's relative ranking." (ms. 63). Jadual] di bawahmenunjukkan peratus item yang didapati berkait dengan SES.Jadual l: Peratus SES Hem mengikut subjek

    Subject % SES Items

    ReadingLanguage ArtsMathematicsScienceSocial Studies

    ]5%65%5%

    45%45%

    Sumber: Popham, 200]

    12

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    13/20

    Hasil daripada perbincangan di atas, boleh dirumuskan bahawa ujian pencapaian piawaitidak sepatutnya digunakan untuk menilai kualiti persekoJahan pelajar sebab:

    I. terdapat ketidakpadanan di antara apa yang diuji dengan apa yangsepatutnya diajar, dan ketidakpadanan ini selalunya tidak disedari

    ii. penekanan kepada sebaran skor yang besar akan menyebabkan item-itemyang merangkumi kandungan/topik yang penting yang guru beripenekanan dan yang pelajar telah kuasai diketepikan.

    Cab~ran

    Daripada perbincangan di atas, jelaslah terdapat beberapa cabaran dalam menyediakansistem pentaksiran yang sesuai dengan perkembangan dalam bidang pendidikan.Cabaran utama dalam penilaian ia lah untuk melaksanakan pelbagai pentaksiran (multipleassessment) secara teratur dan berkesinambungan supaya kepelbagaiannya itu dapatmenyokong perubahan-perubahan yang diperlukan dalam pendidikan bukan sebagaibeban kepada guru dan murid. Kepelbagaian pentaksiran yang mengakui kepelbagaiankebolehan dan bakat manusia serta melihat kecerdasan sebagai sesuatu yang bolehberubah dan dikembangkan. Oleh itu pentaksiran perlu berubah daripada mengukurpembelajaran pelajar dengan menggunakan ujian kertas dan pensel yang ban yakrnenggunakan bentuk anika pilihan kepada pentaksiran pelbagai yang menggunakansoalan terbuka, esei, portfolio, penilaian prestasi dan lain-lain. Daripada hanya mengukuraspek kognitif sahaja kepada mengukur pelbagai kebolehan, kemahiran serta nilai.Daripada penilaian yang terasing yang dibentuk oleh pihak-pihak tertentu kepadapengintegrasian penilaian dalam proses pengajaran dan pembeJajaran yang merupakansatu proses yang berterusan dan dinamik.

    Cabaran yang lain berkaitan dengan penggunaan kemajuan teknologi dalam penilaianserta kemampuan menyediakan teknologi komputer yang boleh melaksanakan pelbagaibentuk penilaian bagi mengukur pengetahuan, kemah iran dan tujuan pendidikan yangdicetuskan oleh peningkatan pemabaman kita tentang bentuk pengetahuan dan

    13

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    14/20

    pembelajaran. Satu perkembangan yang menarik ialah meningkatnya penggunaankomputer dalam pentaksiran pelajar. Terdapat beberapa andaian berkaitan denganperanan komputer dalam pentaksiran. Komputer dikatakan sebagai alat pengurusanmaklumat yang menyediakan peluang-peluang yang banyak dalam mengumpul danmengurus pelbagai data penilaian. Komputer juga merupakan medium yang kurangmenonjol bagi pelajar menyatakan proses pemikiran n:ereka dalam tugasan penyelesaianmasalah. Komputer juga dikatakan rnernpunyai memori bekerja yang besar yang bolehmengurangkan beban kognitif dalam penyelesaian masalah. Sistem komputer hypermediamenyediakan persekitaran non-linear yang fleksibel di mana setiap gerak dan langkahyang diambil olelf penyelesai masalah semasa intereksinya dengan kornputer bolehdirekodkan untuk penilaian. Seterusnya, interaksi manusia dengan komputer bukansahaja rnerupakan hubungan yang mekanikal, ia juga dihubungkan dengan persemukaanhipotetikal (hypothetical interface) iaitu persemukaan teknologi kornputer-psikologikognitif yang merupakan interaksi yang kompleks antara kognisi manusia denganpersekitaran komputer (Kumar, Helgeson & White, 1994)

    Dalam senario perkembangan penilaian pelajar, sekolah dan guru sekarang, terdapatkecenderongan dalam menggunakan pendekatan pentaksiran yang lebih autentik dalammenilai pengetahuan dan kebolehan pelajar. Dalarn pendekatan ini penilaian pre stasipelajar dibuat secara lebih langsung serta mementingkan kedua-dua aspek iaitu prosesdan produk. Kecenderongan ini mengikut sesetengah pihak adalah hasil daripadakekurangan yang terdapat dalam ujian pencapaian tara yang ban yak menggunakan itemanika pilihan dan jawapan pendek dalam menyediakan maklumat yang sesuai bagimembuat pertimbangan dan keputusan tentang kebolehan sebenar pelajar. Debat tentangmodel manakah yang sesuai dan tepat dalam mengukur pencapaian dan kebolehan peJajarmasih lagi berjalan di Amerika terutamanya, walaupun di England, peniJaian prestasisecara autentik ini telah luas digunakan.

    Adalah munasabah untuk mengandaikan bahawa tuntutan kepada keputusan ujian yangboleh membandingkan pencapaian pelajar yang ramai akan tetap merupakan perkarayang diperlukan dalam pendidikan. Yang menjadi persoalannya, adakah keputusan ujian

    14

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    15/20

    tersebut boleh diperolehi daripada penilaian kebolehan pelajar yang lebih komprehensifdaripada yang dapat disediakan oleh pentaksiran piawai yang ban yak menggunakanbentuk anika pilihan dan so alan pendek sekarang ini? Cadangan kepada konseppenilaian berasaskan prestasi tperformance-bosed assessment) telah dikemukakan.Penilaian prestasi merujuk kepada proses menilai kemah iran pelajar dengan memintapelajar melaksanakan sesuatu tugasan yang memerlukan penggunaan kemah iran-kemahiran tersebut. Soalnya bolehkah penilaian berasaskan prestasi ini digunakan untukmembandingkan pelajar merentas latar yang berbeza-beza? Sebagaimana yangdijelaskan sebelum ini, penilaian prestasi lebih merupakan pendekatan penilaian rujukankriteria yang memfbkuskan sama ada pelajar dapat mencapai kriteria tahap penguasaanyang telah ditetapkan. Di England misalnya, telah dibentuk satu sistem yang dipanggil"examplary system" di mana guru-guru yang terlibat dalam memeriksa kertas saolanpenilaian prestasi berjumpa secara berterusan bagi membanding dan mengimbangkankeputusan ujian mereka dengan ujian nasional. lni dikatakan dapat meningkatkankebolehpercayaan ujian merentas latarbelakang (Wiggins, ] 989). Bagaimana pun, apayang jelas pendekatan penilaian bentuk ini adalah mahal sekiranya dijalankan dalamskala besar (large scale). Soal yang utama di sini sama ada kos yang besar ini akanmembantutkan penggunaan model penilaian ini yang didapati dapat menjadikanpengajaran lebih menyeluruh dan mendalam. Sekiranya berlaku anjakan daripadapenilaian piawai kepada penilaian prestasi ini, dari segi psikometrik, anjakan ini akanmengorbankan kebolehpercayaan kepada kesahan. Dengan ertikata lain, pentaksiranpiawai yang metod pemarkahannya berkesan darisegi kos dan masa yang mampumenghasilkan keputusan yang boleh dipercayai akan beranjak kepada penilaian prestasiyang sebenarnya menguji apa yang sepatutnya sistem pendidikan dipertanggungjawabkanuntuk mendidik iaitu kemahiran-kemahiran yang diperlukan untuk kehidupan sebenar didunia.

    Kesimpulannya, pentaksiran piawai adalah viable, murah, boleh dipercayai danmerupakan indikator yang sah tentang pembelajaran pelajar yang sangat berguna dalampenilaian entiti pendidikan dan pencapaian pelajar. Di sarnping itu, kepiawaianpentaksiran itu memungkinkan generalisasi serta kesimpulan boleh dibuat dari data yang

    15

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    16/20

    , .. '.Jl

    diperolehi serta impl ikasinya. Pentaksiran alternatif pula merupakan alat penilaian yangviable dalam menilai progress dan pencapaian pelajar selagi perhatian yang sepatutnyadiambil bagi menentukan kesahan dan keboJehpercayaannya. Disebabkan pentaksiranalternatif ini mahaJ serta agak sukar untuk dibentuk, ditadbir dan diperiksa, kegunaannyauntuk menilai biJangan pelajar yang lebih besar masih dipersoalkan. Bagaimanapun,bentuk-bentuk pentaksiran alternatif telah digunakan dengan meluas daJam peniJaianindividu yang memberi kesan yang dikehendaki kepada kualiti pengajaran dalam biJikdarjah.

    A ...

    Model Pentaksiran Alternatif?

    Soalnya di sini bukanJah hendak menonjolkan bentuk penilaian yang manakah lebih baik.Sebenarnya tidak ada satu model penilaian yang sesuai untuk semua tujuan. lsu yangsebenarnya di sini adalah memilih indikator-indikator pembolehubah yang sesuai danmenggunakan model penilaian yang sesuai untuk mengukurnya. Adalah periu dipastikanyang makJumat mencukupi untuk setiap tujuan sebelum membuat keputusan tentangbentuk pentaksiran yang hendak digunakan ,

    Tidak boJeh dinafikan yang pentaksiran pelajar adalah penting kepada peningkatanpelajar dan sekolah. Di Amerika Syarikat umpamanya terdapat beberapa kurnpulan danindividu termasuk Clifford Hill, Project Zero di Harvard Graduate School of Education,the New York Performance Standards -Consoltium dan the Coalition for AuthenticReform in Education di Massachusetts telah membangunkan mod aJternatif dalammenilai prestasi pelajar. Mod ini mempunyai beberapa ciri seperti berikut:

    I. direka bentuk dengan kolaborasi gurun. cukup pelbagai yang memperiihatkan gaya belajar pelajar yang pelbagaiIll. meniJai kurikulurn yang sebenarnya diajar dalam bilik darjahIV. menyediakan maklumbalas yang cepat berkaitan dengan pemuJihan

    peJajar dan penyemakan kurikulum.(OrfieJd & Wald, 2000)

    16

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    17/20

    w

    Cadangan pemansuhan UPSR dan PMR perlu mempertimbangkan model pentaksiranalternatif yang sesuai menggantikan kedua-dua bentuk pentaksiran tersebut. Apa sahajapertimbangan yang diambil, yang lebih penting adalah peningkatan pembelajaran pelajarserta peningkatan kecekapan sekolah dalam mengurus pembelajaran pelajar. Konsepassessment for learning perlu diberikan penekanan dalam model pentaksiran yangdicadangkan. Pentaksiran perlu dapat membantu dan menyokong pembelajaran pelajarmelalui aktiviti-aktiviti pentaksiran serta maklum balas yang diperolehi daripadapentaksiran yang dijalankan. Dalam konteks UPSR dan PMR yang merupakan high-stake testing di mana banyak keputusan-keputusan penting dibuat berdasarkan kedua-duapentaksiran tersebut memerlukan pentaksiran alternatif yang dicadangkan mempunyaifungsi yang sarna penting tetapi lebih menyeluruh tentang pencapaian dan prestasipelajar.

    Asas Pentaksiran Alternatif '{

    Keputusan tentang individu pelajar tidak patut dibuat hanya berasaskan satu ujian.Pelbagai bentuk ujian patut digunakan. Sekiranya ujian digunakan untukmeningkatkan sistem prestasi pelajar, perlu ada maklumat juga berkait dengankualiti pengajaran dan usaha pelajar. Sekiranya data ujian digunakan sebagai asasuntuk ganjaran atau hukuman, bukti tentang kualiti teknikal ukuran berkait denganpengkelasan individu atau institusi patutlah diterbitkan. Di sam ping itu, buktikesahan ujian untuk pelajar daripada pelbagai latar belakang patutlah dimaklumkankepada orang ramai. Sekiranya ujian mengukur standard kandungan dan standardprestasi, analisis perlu menunjukkan perkaitan di antara item dan standard yangspesifik. Aktiviti pentaksiran perlu menumpukan kepada kandungan yang palingpenting untuk pelajar belajar dan bentuk pentaksiran mestilah selari dengankandungan pelajaran yang penting. Inferen yang sah tentang pembelajaran danpencapaian pelajar patutlah berasaskan maklumat daripada aktiviti-aktivitipentaksiran. Amalan pentaksiran patutlah adil kepada semua yang ditaksir. Prosespentaksiran patutlah melibatkan guru, serta lain-lain professional dalam merekabentuk, mernbangun, melaksanan dan menginterpretasi aktiviti-aktiviti pentaksiran

    17

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    18/20

    ;;.

    dan maklumat-maklumat pentaksiran memberi perhatian yang sarna rata kepadapentaksiran peluang untuk pembelajaran dan pentaksiran pencapaian pelajar.

    Oleh itu saya kira, pentaksiran alternatif tersebut perlulah mempunyai ciri-ciri sepertiberikut:

    I. bersifat diagnostik - pentaksiran perlu dapat mengesan masalah pembelajaranpelajar dan mencari penyelesaian yang sesuai untuk meningkatkanpembelajaran

    II. bersifat holistik dan berterusan - pelbagai bentuk pentaksiran periu digunakanuntuk mengumpuJ data yang lebih menyeluruh tentang pencapaian danprestasi pelajar. Pentaksiran perlu dilakukan dalam dua keadaan iaitu secaraformatif dan sumatif. Secara formatif akan mengumpulkan data tentang apayang pelajar perlu tahu dan boleh lakukan pada masa-masa tertentu dalampembelajaran dan persekolahan. Secara '{sumatif berkait dengan maklumattentang pencapaian dan penguasaan pelajar pada akhir sesuatu unitpembelajaran atau kursus.

    Ill. berasaskan standard - kurikulum yang digubal perlulah berasaskan kepadastandard-standard pencapaian dan penguasaan yang perlu dicapai oleh pelajarbagi setiap peringkat pembeJajaran. Standard boleh diterjemahkan dalambentuk kecekapan-kecekapan yang perlu dikuasai oleh pelajar. Kecekapan-kecekapan tersebut perlu ditaksir dengan menggunakan pelbagai bentukpentaksiran dan metod penskoran dan penggredan yang sesuai. Pentaksiranakan berubah daripada pentaksiran rujukan norma kepada pentaksiran rujukankriteria.

    Standard adalah merujuk kepada satu pernyataan yang jelas tentang apa yang pelajarpatut tahu dan boleh lakukan pada satu-satu masa tertentu dalam persekolahan mereka.Standard membawa maksud pernyataan tentang jangkaan pelajar. Contohnya sepertistandard prestasi minima daJam peJbagai domain dan tahap persekoJahan seperti dalamkemahiran membaca, menulis dan mengira. Melibatkan tahap-tahap prestasi yang peJajarmampu tunjukkan atau Jakukan. Dengan ertikata Jain, standard adalah merupakan

    18

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    19/20

    spesifikasi dan definisi teras pengetahuan yang diperlukan dalam mata pelajaran yangdiajar. Pada umumnya terdapat tiga jenis standard iaitu:i. Standard kandungan (content standard)ii. Standard prestasi (performance standard)iii. Standard Peluang untuk pembelajaran (Opportunities to Learn Standard)

    Standard kandungan merujuk kepada deskripsi naratif tentang hasil yang dikehendakidalam pelbagai mata pelajaran. Standard prestasi merujuk kepada bukti konkrit tahapdan kualiti prestasi yang pelajar periu tunjukkan sebagai penguasaan hasil kandunganmata pelajaran. Ringkasnya standard kandungan merujuk kepada apa yang dipelajari,dan standard prestasi merujuk kepada sebaik mana sesuatu kandungan yang dikehendakiitu di kuasai atau dicapai. Standard peluang untuk pembelajaran merujuk kepadapenanda aras untuk menilai sama ada sekolah telah menyediakan sumber-surnber sepertikurikulum yang mencabar, guru yang berkelayakan untuk keperluan dalam menentukanyang semua pelajar mempunyai peluang mencapai tahap yang paling tinggi dalampencapaian dan prestasi mereka

    Perubahan pentaksiran pendidikan memerlukan perubahan kurikulum. Tanpa perubahankurikulum, perubahan dalam pentaksiran sukar untuk dilaksanakan dengan berkesan. lnimemandangkan pentaksiran adalah merupakan bahagian penting dalam kurikulum yangakan menentukan sama ada apa yang dihasratkan dalam kurikulum dapat dicapai.Dengan ertikata lain, mitos tentang pentaksiran pembelajaran perlulah diukur denganjelas berdasarkan realiti kehidupan yang menuntut kefahaman yang tinggi dalampenyelesaian masalah-masalah kehidupan yang semakin kompleks. Oleh itu,kesanggupan kita untuk berubah merupakan cabaran yang lebih besar. Sekiranya institusipendidikan tidak sanggup berubah ataupun berubah dengan kadar yang perlahan, adakemungkinan apa yang berlaku di sekolah misalnya akan menjadi tidak relevan kepadakehidupan pelajar. Ini selaras dengan apa yang dikatakan oleh Ketua Eksekutif GeneralElectric, Jack Welch, "If the rate of change inside institution is less than the rate ofchange outside, the end is in sight." Begitu juga dengan kurikulum, pengajaran danpernbelajaran serta pentaksiran di sekolah.

    19

  • 8/7/2019 Pentaksiran Pendidikan - Di Antara Mitos Dan Realiti

    20/20

    Rujukan

    Firestone, W.A., Mayrowetz, D., (2000) Rethinking "High Stakes": Lessons form theUnited States and England and Wales, Teachers College Record, Vol. 102, No.4,August 2000, pp. 724-749, Teachers College, Columbia University.Glaser, R., & Silver, E., (1994) Assessment, Testing and Instruction: Retrospect andProspect, CSE Technical Report 379, National Center for Research on Evaluation,Standards and Student Testing (CRESST), University of California, Los Angeles, CAJohnston, P., (1989) Contructive Evaluation and the Improvement of Teaching andLearning, Teachers College Record, Vol. 90, No.4, Summer 1989, pp. 509-528,Teachers College, Columbia UniversityMcNeil, L.M., (2000) Contradictions of School Reform: Educational Costs ofStandardized Testing, New York:RoutledgeOrfield,G.,Wald, 1., (2000) Testing, Testing,http://past.thenation. com/issue/00060S/060So rfield.shtml " .Popham, W. J., (200]) The Truth About Testing, St. Alexandria, VA:ASCDSacks, P., (2000) Standardized Minds, Cambridge, MA.:Perseus PublishingShepard, L.A., Dougherty, K.C. (1991) Effects of High-Stakes Testing on Instruction,paper presented at the Annual Meetings of AERA, Chicago, IL, April 3 - 7, 1991Torrance, H., (2002) Can Testing Really Raise Educational Standards? InauguralProfessorial Lecture, University of Sussex, EnglandTravis, J. (1996) Meaningful Assessment, Clearing House, 69 (5), pp. 308-312

    20