Jumal Kejuruteraan 5(1993) 37-46

Perseptron Berbilang Lapisan & Algoritma Perambatan ke Belakang:

Konsep Rangkaian Neural Tiruan

Aini Hussain Zainul Abidin M. Sharrif

Masuri Othman

ABSTRAK

Rencana ini bertujuan untuk memperkenalkan konsep Rangkoian Neural Tiruan (RNT), memperihalkon langkah-Iangkah yang perlu diambil di dalam proses merekabentuk serta melatih sua!u rangkaian neural t;ruan, membincangkan kebaikan dan kelemahannya dan akhir sekali cadangan melaksanakan masalah pengkelasan s~raltak suara. Terdapat beberapa jenis peng.elas serta algoritma latihan, bagi tujuan di atas pengelas Perseptron Berbilang Lapisan (PBL) dan algoritma perambatan ralat ke belakang telah dipilih berdasarkan keupayaan serta penggunaannya yang meluas. Rangkap ATAU eksklusi yang merupakan suatu rangkap bolehpisah tidak lelulus, kemudiannya digunakan sebagai comoh.

ABSTRACf

The main objective of Ihis paper is to serve as an introduction to the process of designing and training of a neural network. A simple implementation of a nonlinear separable function (e.g. exclusive OR function) using the backpropagation training algorithm and feedforward multilayer perceplron is used as an example. Finally, the paper summarizes the advantages and disadvantages of the Neural Networks. In addition, it also discusses the implementalion of lhe neural network appraoch 10 voicefunvoice problems.

PENGENALAN

Sistem saraf otak manusia dao haiwan ataupun dikenali juga sebagai rangkaian neural biologi adalah merupakan gabungan jutaan rangkaian neuron, Setiap rangkaian neuron mempunyai sel tubuh (mengandungi nukleus), akson (Bahagian permulaan laluan penyambung), sinaps (suatu penghantar isyarat denyutan sara!) dao dendrit (laluan penyambung) seperti yang dipaparkan dalam Rajah I(a). Rajah l(b) pula merupakan analoginya iaitu rangkaian neural tiruan. Keterangan lanjut mengenai cara-cara rangkaian neural biologi berfungsi boleh didapati daripada Igor Aleksander & Morton (1990), Thornton (1991) dan Ioshua Alspector 1989.

Kaedah Rangkaian Neural Tiruan (RNT) ialah suatu kaedah penyelesaian masalah menggunakan kompputer yang dikatakan befungsi mirip seperti otak manusia ruin merupakan suatu era baru dibidang perkomputeran. Rangkaian Neural Tiruan ini adalah berdasarkan kepada model pengkodan dan

38

• u.(t)'l U (I) ,

RAJAH 1(.) Rangkaian Neural Biologi RAJAH l(b) Modal Neuron Timan

pemprosesan maklumat dalam otak manusia yang mempunyai keupayaan untuk belajar, mengecam (mengenali), menghafal dan membuat kesimpulan urnum.

Oleh keran. perlakuannya yang menyerupai peranan sistem saraf otak manusia, RNf sangat sesuai digunakan di dalam bidang proses kawalan, pengecaman arca dan pertuturan, sistem kuas. dan sebagainya.

KNIAN LEPAS LATAR BELAKANG

Perkembangan sejarahkajian model rangkaian neural tiruan telah bermuia lebih kurang 50 tahun yang Ialu hasil dari penyelidikan yang dijalankan oleh McCuUouch dan Pitts (1943), dan diikuti oleh Hebb (1949), Rosenblat (1962), Widrow dan lain-lain yang telah berjaya menghasiikan model-mode) matemalik yang terperinci (Lippman, 1987), Maiden 1992, Edward & Kirchoff 1991).

Pad a tahun 1969, Marvin Minsky dan Seymour Papert telah mempertikaikan keupayaan kaedah rangkaian neural dengan membuktikan kegagalan rangkaian neural dalam menyelesaikan rangkap ATAU eksklusi secara matemalik. HasH kerja yang mereka laporkan telah menyebabkan minat seTta waha yang berkaitan dengan penyelidikan rangkaian terbantut buat seketika (Igor Aleksander & Morton 1992). Walau bagaimanapun, diawal tabun 1980-an seorang penyelidik dari California Institute of Technol­ogy, John Hopfield (1982) telah berjaya menghidupkan semula minat para saintis kepada analisis rangkaian neural. lni diikuti pula oleh basil kerja Hinton, Rumelhart dan McClelland, Sejnowski, Feldman, Grossberg dan beberapa penyelidik yang lain yang turnt menyebabkan kebangkitan semula era penyelidikan rangkaian neural (Lippman 1987; Igor Aleksander & Morton 1990; Thornton 1991 ; Edward 1992; Edward & Kirchoff (1991).

PENGKELAS PERSEPTRON BERBILANG LAPIS (PBL)

PBL merupakan seb\Jah rangkaian neural suap-depan yang mengandungi satu atau lebih lapisan terlindung di antara nod-nod input dengan lapisan outputnya.

39

Setiap lapisan terlindung ini mengandungi beberapa bilangan tertentu unit­unit atau nod tedindung. Rajah 2 mempamirkan senibina sebuah perseptron berbilang lapisan. Lapisan teratas sekali mewakili Japisan output dan diikuti dengan dua buah lapisan terlindung. Di bawah sekali merupakan lapisan unit­unit atau nod-nod inputnya.

Lapisan

Output

lapisan T «Iindu1g I

Lapisan

Terlindung 2

Lapisan Input

RAJAH 2. Persetron Berbilang Lapisan

Sebelum ini, sunggubpun PBL diketahui dapat mengatasi masalah yang dialami oleh Perseptron Lapisan Tunggal, retapi ia ridak digunakan secara meluas kerana ketiadaan algoritma-algoritma larihan yang berkesan. Walau bagaimanapun keadaannya kini telah berubah dengan wujudnya algoritrna lalihan yang barn ekoran perkembangan yang giat di bidang rangkaian neural yang telah melaporkan hasil kerja-hasil kelja yang sungguh menggalakkan (Igor Aleksander & Monon 1990; Thornton 1991).

Rencana ini bcrtujuan untuk memberi gambaran cara-cara untuk melaksanakan kaedah penyelesaian mengikut kaedah rangkaian neural. Suatu masalah mudah telah digunakan sebagai contoh. Struktur rangkaian neural yang digunakan adalah sepeni yang lerdapat pada Rajah 3 yang berdasarkan kepada kaedah Rumelhart yang dikenali juga sebagai hukum kesimpulan umum delta. Latibannya menggunakan algoritma ralat perambatan kebeJakang. Pada lapisan input terdapat dua nod, lapisan terlindung mengandungi dua nod juga manakala lapisan output mengandungi satu nod sahaja.

ALGORITMA PERAMBATAN KEBELAKANG

Algoritma latiban Perambatan Kebelakang adalah sebuah algoritma yang direkabentuk untuk meminimakan ralat min kuasa dua di antara output

40

y y

x ~ x , x ~ x , 1-) Ib)

y y

X ,~ X X ~ , (0) I ' )

RAJAH 3. Struktur rangkaian neural tiruan bagi penyeJesaian rangkap atan ekssklusi

sebenar perseptron suaphadapan berbilang lapisan dengan output yang dikehendaki (Lippman 1987. Thornton 1991). Ia mempakan sehuah algoritma. keeemnan bedelar. Algoritma ini memedukan eiri kebolehbezaan tak lelurus yang bertemsan dan dengan itu rangkap logislik sigmoid (libat Rajah 4) adalah digunakan (Lippman 1987: Thorton 1991).

1.0

0.5

a

(a) Graf Rangkap Sigmoid

1 f(u)= ___ _

(b) Pef1iamaan Rangkap Sigmoid

RAJAH 4. Rangkap Sigmoid

Algoritrnanya adalah seperti berikuI: a. Latihan dimulakan dengan mengistiharkan nilai pemberat awal dan

nilai ofsel awal dengan nombor rawak yang keci!. b. Setelah ini dilakukan. sualu sel polar latihan yang mengandungi

vektor:vektor inpul XI' x, •.... XN_I dan juga outpul yang dikehendaki dl• <1, •.•• <1,.-1 perlu diperkenalkan. Caranya ialah dengan memperkenalkan sel­set pasangan satu persatu. Mulakan dengan memperkenalkan sel pasangan yang pertarna dan lakukan laliban sehingga nilai pemberal menjadi stabil. Apabila nilai pemberal lelah stabil perkenalkan pula sel pasangan yang selerusnya. C~ kedua adalah seperti yang diterangbn dibahagian seterusnya.

41

c. Kemudian, nilai output yang sebenar, yO, yI, ... ym-I perlu dikira dengan menggunakan rangkap sigmoid seperti di alas.

d. Setelah itu raJat diantara output sebenar dengan output yang dikehendaki perlu ditentukan dan ralat ini akan diperarnbatkan kebelakang supaya nilai­nilai pemberat dapat dikemaskini bermula IIIari lapisan output dan berundur seterusnya sehingga ke Japisan input. Ulang Jangkah (b) hingga (d) sehingga nilai pemberat telah menumpu atau pun telah stabil maka latihan boleh ditarnatkan.

U ntuk mengemaskinikan pemberat, formula perambalan kebelakang yang berikut adalah digunakan:

dengan Wilt) adalah pemberat dari nod terlindung i ataupun dari pemberat dari input ke nod j pada delik t. Manakala, Xi' pula boleh bertindak sebagai output nod i ataupun sebagai suatu input. Sebutan gandaan atau kadar pembelajaran diwakili oleh n dan j pula mewakili sebulan ralat bagi nod j.

Sekirannya nod j adalah sebuah nod output, ralat akan ditentukan dengan persarnaan yang berikut:

dengan

d, Output nod j yang dikehendaki Yj Output nod j yang sebenar.

Jika nod j ialah sebuah nod terlindung, maka persarnaan ralat yang perlu digunakan ialah

j = x', (I - x') , , dengan k merangkumi kesemua nod-nod yang terletak diatas lapisan nod j.

Penumpuan nilai yang lebih cepat dapat diperolehi dengan menarnbah suat sebutan momentum kepada persarnaan pemberat di atas dao persarnaannya adalah seperti berikut:

dengan nilai ialah 0 < < I.

Proses lalihan dilakukan secara lelaran sehingga semua nilai pemberat menjadi stabi\' Di dalam seliap leleran nilai pemberat akan dikemaskini sehingg& suatu masa apabila nilai pemberat telah menjadi stabil maka outputnya adalah dianggap telah menumpu. Apabila ini terjadi, rangkaian neural tadi dianggap sudah mendapat lalihan atau terlatih dan proses latihan yang diterangkan adalah seperti yang dipaparkan oleh carta alir pada Rajah 5. •

42

longkoh (A)

Lqtcah(8)

LangIcah(C)

LongQh (0)

VI

TAMAT

RAJAH 5. Carta alir proses latihan

Langkah seterusnya ialah untuk menguji kebcrkesanan rangkaian neural yang terlatih unruk membuat kesimpulan umum. Set input yang baru atau 'set input latilian boleh digunakan untuk mengujinya. Rangkaian yang terlatih tadi akan membuat kesimpulan umum bcrdasarkan pengalarnan yang diperolehi semasa latihan. Proses ujian adalah harnpir sarna seperti proses latilian. cuma kita tidak perlu melakukan perarnbatan kebelakang. Suatu rangkaian neural yang kompleks akan mengarnbil masa yang agak panjang untuk menyempumakan latihannya.

CONTOH RANGKAP ATAU EKSLUSI MENGGUNAKAN KAEDAH NEURAL

Rajah 6 memaparkan rangkap atau eksklusi serta jadual kebenarannya yang digunakan sebagai set input/output polar latihan untnk penyelesaian masalah. Setiap pasangan input/output diperkenalkan scara bergilir dan perlu melalui

43

x, X, Y

0 0 00

0 1 1.

1 0 1.

1 1 00

<a) Jadual Kebenaran

x N

(b). Graf Rangkap ATAU EKSLUSI

RAJAH 6. Rangkap ATAU EKSLUSI

langkah (b) hingga (d). Apabila kesemua pasangan input/output yang terdapat di dalam set polar latihan diperkenalkan maka sistem adalah dikatakan telah melengkapkan saN pusingan lalihan atau lelaran. Proses lalihan akan diteruskan sehingga nilai pemberat menjadi srabil dan dengan itu sistem adalah dianggap terlalih. Bagi eontoh ini. proses latihan dilakukan sekurang-kurangnya 500 lelaran.

Percubaan melalih yang pertama telah tidak dapat memberi hasil yang memuaskan. Setelah proses latihan diulangi beberapa kali barulah hasil yang memuaskan diperoJehi (yakni ralat min < 0.1). Tarnal sahaja proses lalihan, ujian keberkesanan dilakukan menggunakan set polar input latihan, keputusan 100% peraNs diperolehi dengan ketepatan +,5% (Jadual l(a». Jika set input yang lain dari set inpul latihan digunakan dalarn ujian. kepuNsan yang dieapi adalah 100% juga tetapi dengan ketepalan -+10% (Jadual 1 (b)). Unruk menghasiikan kepuNsan yang lebih jitu dan cepal, berbagai eara boleh dilakukan antaranya ialah dengan . menambah bilangan neuron pada lapisan terlindung. mengurangkan nilai sebutan gandaan, menambah nilai Kadar sebutan momenlum. menambah bilangan lapisan terlindung dan juga mengulangi lalihan dengan menggunakan sel nilai pemberal awal yang berbeza. Langkah yang sarna juga boleh digunakan unNk mengalasi masalah perminimaan tempatan (local minima).

44

JADUAL 1. Keputusan ujian untuk kes bil. nod terlindung = 4

bi!. lelaran I.tiban = 3000

(a) bila menggunakan set polar Jatman

Input Output Output Sasaran Sehenar

0, 0 0 0.04 0,1 0.95 1,0 I 0.95 1,1 0 0.02

(b) menggunakan set polar yang lain

Input Output Output Sasaran Sebenar

0.02,0.02 0 0.06 0.02,0.98 0.95 0.98,0.02 0.95 0.98,0.98 0 0.02

Rajah 7 mem.parkan kesan apabila bilangan nod terlindung ditamb.h dan juga kesan meningkatkan nilai kadar momentum. Nilai ralat min did.pati menyusut apabila bilangan nod lerlindung ditambah manakala bagi kes meningkatkan nilai kadar momentum, ralat min menyusut dengan lebih cepat.

R.I.1 Min 0.3

0.'

c.,

o ~o 100 1~O 200 2$0 ~oo 350 ~oo 'ISO ~oo :i50 100

8h"9'" l.Ia,.n LlIlhl"

RAJAH 7. Plot ralat min. Iwn. bit lelaran latihan (kesan menambah bil. nod terlindung dan menambah kadar momentum)

45

Kesimpulan yang dapat dibuat dari pemerhalian di atas ialah untuk mengurangkan nilai rala! adalah lebih mudah dengan menggunakan kaedah sebutan momentum daripada menambah bilangan nod terlindung ataupun menambah bilangan lapisan terlindung. Masa perkomputeran yang lebih lama akan diperlukan sekiranya lebih banyak bilangan nod terlindung digunakan untuk mengira dan mengemaskini pertambahan bilangan nod terlindung.

KESIMPULAN

Hasil ketja-ahsil ketja yang dilaporkan (Lippman 1987; Bendiksena dan Steiglitz 1990; Edward 1992) menunjukkan keupayaan konsep RNT dalam mengatasi masalah. Oiantara kebaikan-kebaikan yang telah diutarakan ialah kaedah RNT atau perkomputeran neural (neural computing) tidak memerlukan penga!urcaraan kompleks yang khusus sebagaimana yang diperlukan di dalam perkomputeran lazim. Sifat RNT yang belajar dari contoh membolebkannya menyelesaikan masalah dengan membina algoritmanya tersendiri tanpa memerlukan pengaturcaraan yang khusus.

Kaedah ini juga tidak memerlukan tenaga pakar dalam bidang teftentu kerana seseorang pengaturcara boleh menyelesaikan sebarang masalah sekiranya ia mempunyai data yang mencukupi untuk melakukan latihan supaya rangkaian neural tiruan dapat membuat kesimpulan umum. Contohnya jika seseorang ingin mengenalpasli sama ada suatu objek adalah sebatang pokok atau bukan. Ia hanya perlu melalih rangkaian neural dengan beberapa contoh supaya RNTnya dapat memahami dan mengenalpasti masalah dan seterusnya membuat kesimpulan umum. Selain dari itu, sifat atau struktur RNT yang sangat selari sena gabungannya dengan peralatan komputer canggih membolehkan pemprosesan selari dilakukan untuk penyelesaian pelbagai masalah rumit.

Antara kelemahannya pula ialah proses latiban mungkin mengambil masa yang sangatlama. Walau bagaimanapun setelah tarnat latiban, keputusan akan diperolehi dengan cepat. Ringkasnya, RNT telah mula mendapat tempat dan perhatian di dalam bidang penyelidikan. Ia menawarkan suatu kaedah penyelesaian altematif terhadap masalah-masalah kompleks dan menjanjikan keputusan yang memberangsangkan.

CAOANGAN

Bagi menghayati dan mendalami pengetahuan di bidang RNT, beberapa kerja susulan telah dicadangkan. Salah satu darinya yang sedang dilaksanakan ialah pengkelasan suara/tak suara suatu isyarat. Struktur rangkaian neural PBL

seperti yang digunakan di dalam contoh rangkap ATAU eksklusi akan digunakan dengan sedikit pengubahsuaian pada set polar input latihan. Input terdiri daripada sifat-sifat akustik dan outputnya ialah sama ada tak suara (0) atau suara (I) (Jadual 2).

Pengambilan sampel untuk dijadikan set polar latihan sedang dilakukan dan setelah selesai proses perolehan dan pemormalan data, latihan pula akan dilaksanakan. Sampel-sampel yang diambil merupakan sukukata-sukukata bagi Bahasa Malaysia baku. Sampel-sampel ini akan diproses secara lazim

46

JADUAL 2. Pengkelasan Suara/fak Suara

Purata Lintasan Sifar

Rendah [0]

Tinggi [I]

Purata Magnitud

Tinggi [1]

Rendab [OJ

Output

Suara [1]

Tak Suara [0]

terlebih dabulu untuk mendapatkan sifal-sifal akuslik sukukala-sukukata yang lerbabit.

Sifal-sifal akustik yang digunakan sebagai inpul ialab kadar bilangan linlasan sifar dan purata magnitud. Nilai-nilai input perlu dinonnalkan terlebih dabulu (Edward 1992) dan barulah latihan akan dimulakan. Selain dari ilu, masalah pengcarnan ucapan serta pengawasan keadaan juga akan turut dikaji menggunakan kaedab Rangkaian Neural Tiruan.

RUJUKAN

Abu-Mostafa. 1989 (Nov.). Infonnation theory, complexity, and neural networks. IEEE Communication Magazine, 25-28.

AKB Maiden M.1. 1992. Pencaman Sebutan Baku dalam Domain Masa. Tesis Sarjana Sains, Fakulti Kejuruteraan UKM.

Bendiksen A. & K. Steiglitz. 1990. Neural network for voiced/unvoiced speech classification. Proceedings of 1990 IEEE Int. Cant on ASSP. 521-524.

Edward F. & C. Kirchoff. 1991. Short Course on Parallel Processing, Neural Network and Opto-Electronics. UTM, Kuala Lumpur.

Edward F. 1992. Short course on industrial application of image processing and neural networks, Kuala Lumpur, June 22-25.

Igor Aleksander & H. Morton. 1990. An introduction to neural computing. Chapman and Hall.

Joshua Alspector. 1989. Neural-style microsystems that learn. IEEE Communications Magazine, November 29-36.

Kumar N., et. al. Application of artificial neural networks to load flow solutions. IEEE Tencon, 199-203.

Lippman R.~. 1987 (April). An introduction to computing with neural nets. IEEE ASSP Magazine, 4-22.

Stevenson R. Winter & B. Widrow. 1990. Sensitivity of feedforward neural networks to weight errors. IEEE Trans. on Neural Networks. 71-80.

Thornton C. 1991. I-day workshop on neural networks and learning. University of Malaya, July 31.

Jabatan Kejuruteraan Elektrik. Elektronik & Sistem Fakulti Kejuruteraan Universiti Kebangsaan Malaysia 43650 UKM Bangi Selangor D.E., Malaysia