Bab5 Beberapa Model Belajar 3

5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com

http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 1/39

BabS

Beberapa Mode l B e la ia r

11 2

5 . 1 Pendahuluan

5.2 Model BelaJar Kompetitij

5 . 3 Model Linsker: Suatu Contoh Metode Belaiar

Kompetitij

5.4 Model Fukushima: Contoh Lain dan MetodeBelaiar Kompetitij

5.5 Model Aktivasi Interakti!

5.6 Perbandingan antara Metode Belajar Kompetiti!

dan Model Aktivasi Interaktij

5 . 7 Teori Resonansi Adapti!: Suatu Versi Metode

Belaiar Kompetiti! yang telah Distabilkan

5.8 Perbandingan antara Resonansi Adapti! dan Mo el

Belaiar Propagasi Balik

5.9 Tinjauart Pustaka



Beberapa Model Be/ajar 113

5.1 Pendahuluan

Bah ini dimaksudkan untuk pembahasan beberapa model utama yang ba-

nyak digunakan dalam berbagai literatur di bidang ini dalam tahun-tahun

terakhir: metode belajar kornpetitif, aktivasi interaktif, dan model resonansi

adaptif - serta hubungannya satu dengan yang lain. Jika dalam Bab 2 dan

3 pembahasan ditekankan pada metode belajar dengan pengawasan (super-

vised learning) .maka pembahasan dalam bab ini ditekankan pada metodebelajar tanpa pengawasan (unsupervised learning). Pertama-tama a ka n

dibahas metode belajar kompetitif dan aktivasi interaktif serta mempeiajari

perbedaan mendasar antara keduanya. Selanjutnya dibahas model resonan-

si adaptif yang merupakan suatu upaya menghilangkan beberapa ketaksta-

bilan temporal yang terdapat pada metode belajar kompetitif. Juga akan

ditunjukkan hubungan antara metode belajar dengan propagasi balik yang

telah dibahas dalam Bab 4, dengan paradigrna resonansi adaptif.

Dalam pembahasan ini, pernbaca sangat dianjurkan untuk mengingat -ingatberbagai model jaringan yang mencerminkan intuisi dari berbagai peneliti

rnengenai cara kerja otak. Dua model yang memiliki aturan mekanis yang

berbeda mungkin memiliki kesamaan dalam sifat fungsional yang muncul

(emergen t) dan kolektif. Hubungan antara sifat ini bertanggung jawab dalam

menentukan keberhasilan dalarn perilaku; meskipun dernikian, mekanisme

yang menghasilkan stfat ini masih belum jelas. Sifat ini seringkali lebih

kompleks daripada komponen jaringan yang mendasarinya sehingga perlu

digunakan pendekatan rnatematis yang dapat menganalisis interaksi non-

linear pada berjuta-juta komponen, karena sifat terse but tidak statis jika

diperhadapkan dengan strategi belajar. Grossberg (1987a) menyentuh suatu

titik yang penting ketika menunjukkan bahwa adalah perlu untuk bergerak

lebih jauh dari detail mekanis suatu model jaringan kepada tingkat arsitektu-

ral yang lebih dalam untuk.benar-benar memahami hubungannya satu sarna

lain.

5.2 Metode Belajar Kompetitij

Metode belajar kompetttif pada dasamya adalah suatu pola belajar secara

statistik non-asosiatif. Rumelhart (1985) menunjukkan bagaimana jaringan



adaptif sederhana dapat mengungkapkan sifat yang penting dalarn me -deskripsikan lingkungan yang memberikan stimulus pada sistem. Sifat y

didapat dalarn lapis pertama dari jaringan dapat digunakan dalam lapis

berikutnya dalarn suatu sistem jaringan dengan banyak lapisan, un

melakukan klasifikasi terhadap kelompok pola yang tidak mudah diklasi '-

kasikan oleh sistem jaringan dengan lapisan tunggal.

Untuk dapat memahami metoele belajar kompetitif secara menyelu

perlu diingat pula beberapa karya dari Rosenblatt mengenai metode belaj r

spontan (spontaneous learning). Semua model eara belajar dari jaring

memerlukan aturan yang menjelaskan bagaimana memberikan stimul

serta mengubah nilai bobot interkoneksi dalam kaitannya dengan resp n

dari model tersebut. Pada salah satu sisi dari aturan ini terdapat met e

belajar dengan suatu 'pengajar' yang melakukan koreksi terhadap galat y 9

terjadi, dan pada sisi lain terdapat metoda belajar yang sepenuhnya spont

dan tanpa pengawasan sarna sekali. Metode belajar dengan tekanan (fore d

learning) mengacu kepada sekumpulan aturan yang didasarkan pada m -nipulasi isi stimulus masukan untuk mewujudkan suatu eara belajar. Dari

muanya itu, metode belajar kompetitif berada dalam kategori 'tanpa pe -

gawas'.

Penelitian awal yang dilakukan oleh Rosenblatt antara lain adalah un

menghasilkan suatu perseptron dari suatu jaringan. Perseptron ini akan me -

beda-bedakan pola (masukan) ke dalam dua kelompok, di mana kelom

pertama akan menghasilkan respon 'l' pada keluaran, dan kelompok ked

akan menghasilkan respon '0'. Bobot pada jalur yang aktif saat sistem di

pola dari kelompok 'L' dinaikkan, sedangkan bobot pada jalur yang aktif

sistem diberi pola dari kelompok '0' diturunkan. Kenyataan bahwa bobot

dapat bertambah tanpa batas berakibat kelompok yang sejak awal mem

oleh pola mayoritas akan mendapat penguatan (reinforcement) terbany ,

dan cepat atau lambat semua pola pada akhimya akan terklasifikasidalam

kelompok. Untuk menjaga agar keterpisahan (dikotomi) pola ini stabil, i-

lakukan modifikasi terhadap aturan yang digunakan. Dalam modifikasi ini, .

tiap bobot dibuat lebih keeil dari nilai sebenarnya menggunakan suatu per

dingan tertentu yang tetap, sebelum dilakukan peningkatan terhadap n

sebagian bobot berdasarkan respons terhadap suatu pola masukan. Rosenbl tt

menyatakan bahwa perseptron tersebut, dengan memperlihatkan prin lp

separabilitas statistik, merupakan pendekatan yang paling mirip deng

sistern saraf.

11 4 Pengantar Jaringan Neural



Beberapa Model Belajar 115

Hasil yang diperoleh Rosenblatt, di mana suatu perseptron dna-lapis

mampu melakukan 22N klasiftkasi yang mungkin dari N pola masukan biner,

belum dapat dikatakan praktis karena dalam keadaan umum diperlukan 2 N

unit untuk melakukan pekerjaan tersebut. Masalah ukuran tampaknya tidak

hanya muncul dalam pengenal pola serial saja, tetapi juga dalam elemen

pengenal paralel. Jaringan saraf secara arsitektural merniliki sifat sangat

sensitif, sehingga suatu perubahan keeil - misalnya dalam tatanan sirn-

pul/node - dapat menyebabkan perubahan fungsi secara drastis. Hal inimenunjukkan bahwa penyusunan suatu jaringan saraf yang multi-guna

bukan merupakan hal yang mudah; bahkan, usaha menyusun suatu jaringan

untuk melaksanakan suatu pekerjaan khusus Iebih banyak berada dalam

tahap percobaan. Secara prinsip, tidak ada jaringan yang dapat mempela-

jari sesuatu yang tidak dapat dilakukan oleh jaringan tersebut; kapabili-

tas/tingkat kemampuan suatu janngan sendiri bergantung pada struktur

jaringan tersebut serta sifat penghitungan yang dimiliki oleh elemen kompo-

nennya.

5.2.1 Posisi Metode Belajar Kompetiti/ di antara Model

Belajar lainnya

Rumelhart (1985) membuat klasifikasi model jaringan berdasarkan metode

belajamya:

1. Auto Associator Suatu pola yang rusak dapat digunakan oleh mo-

del ini untuk mengembalikan pola ash.

2. Pattern Associator Sekelompok pasangan pola diberikan secara

berulang-ulang. Sistem ini belajar untuk mengeluarkan salah satu

anggota dart suatu pasangan jika diberikan anggota lainnya dari

pasangan tersebut.

3. Classification Paradigm Sekumpulan pola stimulus beserta katego-

rinya diberikan, dan sistem ini belajar untuk merespon suatu stimu-

lus (dalam keadaan baik maupun terdistorsi) dengan kategort yangbenar.

4. Regularity Detector Tiap pola stimulus dibertkan denqan disertai

suatu probabilitas. Sistem kemudian mengungkapkan secara statistik

sifat yang menonjol dan populasi masukan. Tidak ada kelompok

kategori ke dalam mana pola akan diklasifikasikan; sistem ini me-



ngembangkan sendiri suatu bentuk representasi sifat darl stimul

masukan.

Metode belajar kompetitif termasuk dalam kategori terakhir.

116 Pengantar Jaringan Neural

5.2.2 Kerangka Kerja Arsitektural

Rumelhart (1985) membuat deskripsi kerangka kerja dari suatu siste

dengan metode belajar kompetitif (Gambar 5.1) sebagai suatu arsitekyang terdiri dari sekelompok unit yang tersusun atas lapisan secara hirar . ,

di mana tiap lapisan terhubung melalui hubungan pembangkit (excitato )

dengan lapisan yang tepat berada di atasnya. Unit dalam suatu lapis

dibagi menjadi gugus yang saling menghambat (inhibitory). Tiap elem n

dalam suatu gugus menerima masukan melalui jalur yang sarna dari lapis

yang lebih rendah. Suatu unit belajar jika dan hanya jika unit terseb t

memenangkan kompetisi dengan unit lain dalam gugusnya - jadi, elem n

dalam suatu gugus bersaing satu sarna lain untuk memberikan resp n

terhadap pola yang muncul pada lapisan di bawahnya.

Unit pemenang dalam suatu gugus memberikan nilai maksimumn ,

sedangkan unit lainnya ditekan ke nilai minimum masing-masing. U it

pemenang melakukan proses belajar dengan menggeser bobot dari jal r

masukan inaktif ke jalur masukan aktifnya. Jalur aktif adalah jalur y 9

terhubung ke elemen pola masukan biner yang aktif (berada dalam kelo -

pok ' l ').

(J)ij = bobot jalur yang menghubungkan unit j pada lapisan yang Ie

rendah dengan unit j pada lapisan yang lebih tinggi

I w , , : : : 1 .

Tiap jalur masukan ke unit pemenang membuang suatu bagian g dari bob t-

nya, dan bobot tersebut kemudian didistribusikan sama besar ke jalur a-

sukan aktif

jika unit jkalah pada stimulus k

jika unit j menang pada stimulus k.

di mana




Unit yang tersusun atas lapisan sscara hirarkis terbagi atas unit akt if (bulatan) atau inakt if ( Iingkaran). Suatu unit

pada lapisan tertentu dapat menerima masukan dari semua unit pada lapisan yang tepat di bawahnya dan da-

pat memberikan keluaran ke semua unit pada laplsan yang tepat di atasnya. Hubungan-hubungan antar lapisan

bersifat membangkitkan (excitatory') sedangkan hubungan dalam satu lapisan bers ifat menghambat (inhibitory').

Tiap lapisan tersusun atas sekumpulan gugus-gugus yang masing-masing terdiri dari unit yang saling mengham-

bat, sedemikian sehingga pada satu saat dalam satu gugus hanya ada satu unit yang akti f. Kontigurasi unit akti f

dalam suatu lapisan merepresentasikan pola masukan bagi lapisan yang tepat di atasnya,

Dari Rume/hart, David, dan Zipser, David, "Feature Discovery by Competi ti ve Learning, • Cognit ive Science 9,

75-112, 1985. Dicetak u/ang seijin penerbit.

Gambar 5.1 Arsitektur mekanisme be/ajar kompetitif.



n


jika dalam pola S, unit idalam lapisan yang lebih rendah berada dal

keadaan aktif, dan 0 jika tidak, dan

nk "" L Cik = = jumlah unit aktif dalam pola Ss,

Rumelhart {1985} memherikan suatu interpretasi geometris yang bJika tiap pola stimulus dipandang sebagai suatu vektor berdimensi N, m

tiap pola dapat direpresentasikan dengan suatu titik pada suatu perrnuk

bola (sphere) herdimensi N. Bobot hubungan yang mengarah ke unit p a

lapisan berikutnya dapat pula dipandang sebagai suatu vektor berdimensi N

(karena tiap unit dalam lapisan berikutnya menerima N masukan) sehin a

terletak pula pada perrnukaan bola tersebut. Unit yang memberikan res

paling kuat pada suatu stimulus adalah unit yang vektor bobotnya pal'

mendekati pola stimulus tersebut. H91 ini terjadi dengan suatu pergerdengan persentase g dari lokasi awalnya menuju ke lokasi di mana

stimulus tersebut berada pada perrnukaan bola tadi.

Dengan demikian kita temukan bahwa tiap gugus berurusan den

suatu sifat tersendiri dari pola masukan. (Model seperti dideskripsikan ti ak

menjamin bahwa gugus yang berbeda akan mengungkapkan sifat yang

heda. Diperlukan sedikit modifikasi pada sistem, di mana gugus 'berpera

satu sama lain). Jika suatu gugus mempunyai M unit di dalamnya, da a

dikatakanbahwa gugus tersehut memhentuk suatu sifat ke-M (M-ary

ture) di mana tiap pola stimulus diklasifikasikan memiliki tepat satu da .

nilai yang mungkin dari sifat ini.

Semakin terstruktur suatu stimulus, semakin stabil klasifikasinya. Pen e

lompokan yang dilakukan oleh suatu gugus tertentu bergantung pada I

awal dari bobot dan urutan pemberian pola stimulus.

5.3 Model Linsker: Suatu Contoh Metode

Belajar Kompetiti/

Unsker (1988) memherikan suatu contoh mengenai pengungkapan fa

dengan metode belajar kompetitif. Contoh yang diberikan dimotivasi le

• I . , '




sifat yang ditemukan pada sel-sel dalam tahap pengolahan awal sistem

penglihatan mamalia. Karena pada beberapa binatang sifat ini berkembang

sebelum kelahiran, maka sifat tersebut bukan merupakan hasil dari suatu

, pengalaman yang terstruktur. Dalemjarirqen Unsker, sifat yang berhubungan

hanya merupakan hasil dari pemberian sinyaJ acak pada Japisan masukan

jaringan.

Mekanisme visual memberikan suatu contoh yang tepat dari deteksi

feature. Aspek yang sederhana dari bentuk, seperti kekontrasan dan orien-tasi sisi, dianalisis dalam lapis tahap awal, yang kemudian digabungkan

untuk membentuk feature yang lebih kompleks dalam lapis berikutnya.

Dalam tiap lapis retinal maupun cortical dapat ditemukan kelompok sel yang

melakukan fungsi yang sarna., Tiap sel mengolah masukan dari bidang

penerimaannya ( re ce ptiv e fie ld ) yaitu suatu daerah visual yang terbatas.

Meskipun fungsi respons dari suatu sel umumnya nonlinear, suatu aproksi-

masi dengan penjumlahan linear adalah cukup memadai karena pemben-

tukan feature juga terjadi dalam hal ini.Dalam model Linsker, masukan eksternal tiba pada lapis A. Sel-sel

diorganisasikan ke dalam lapis berdimensi dua A, B, C, dan seterusnya

dengan hubungan umpan-maju ke tiap sel dari sekelompok sel-sel tetangga

pada lapis sebelumnya (Gambar 5.2), Untuk penyederhanaan diasumsikan

bahwa hubunqan antar sel bersifat tetap. Hubungan ini ditentukan, misal-

nya, berdasarkan suatu distribusi Gauss, sehingga sebagian besar hubungan

pada suatu sel terarah ke posisi yang dekat dengan posisi sel tersebut pada

lapis tetangganya.

5.3.1 Pemodelan Matematis

Dimisalkan sel L1, L2, .. " L N memberikan masukan kepada sel M. Suatu

himpunan nilai aktivitas, dinyatakan dengan (Li, L2 , ... , L~ ), diberikan pada

sel M sehingga menghasilkan suatu nilai aktivitas keluaran M '" Maka aturan

respons linear adalah:

A,t" = 0] + LL/,cl•

di man?

Cj = kekuatan (bobot) dari hubungan antara masukan ke-j dengan sel M.



120 Pengasiar Jaringan Neural

! !asukan dari lingkungan Oikaada)

Lapis A

!Lapis B

!lapis C

!Lapis D

!Diambi l dari Linsker, ·Self -Organizat ion in a Perceptual Network: Computer, Maret 1988, 105-117. (c) 1988

IEEE. Oecetak u{ang seijin penerbit.

Gambar 5.2 Suatu jaringan self-adaptive berlapis dengan hubungan u -

pan-maju lokal.

Di sini, superskrip :It semata-mata merupakan suatu pengenal {identifi

untuk suatu snapshot dalam pengembangan sistem. Model ini mengkan variasi dari aturan Hebb, sebagai berikut:

di mana batasan satu-satunya bagi konstanta dalam rumus tersebut ad

a2> 0 (aturan Hebb).




Jika hasil ini dirata-ratakan terhadap suatu kelompok yang terditi dati

beberapa presentasi dan digunakan ekspresi awal untuk MPi/, dengan rna-

nipulasi aljabar akan kita peroleh:

di mana

k1,2 = kombinasi tertentu dati onstanta 01-5, dan

Q 'i = ( ( L , ' C - L) X ( L 1 ' C - L» .

Di sini, Qij adalah kovariansi dari aktivitas sel masukan j dan j (suatu elemen

tertentu dari matriks ini dapat saja tidak nol, meskipun neuron yang berko-

respondensi dengannya tidak terhubung secara langsung, disebabkankaren a cara pendefinisian dari aturan Hebb yang dimodifikesi), dan operator

<.. cdot» menyatakan rata-rata kelompok (ekspektansi), L- adalah rata-rata

kelompok dari aktivitas masukan pada suatu sinapsis dan diasumsikan sarna

untuk semua sinapsis. Perlu diperhatikan bahwa untuk menghindari satu-

rasi, tiap nilai c dianggap berada di antara dua nilai, c. dan c..

Penghitungan kekuatan (bobot) hubungan untuk lapis yang berurutan

dilakukan secara rekursif. Oengan menggunakan matriks Qi} untuk lapis

masukan A, dihitung kekuatan hubungan dari lapis A ke lapis B. Ke-

mudian dengan menggunakan nilai ini dan menggunakan matriks Qij

untuk lapis B, dihitung kekuatan hubungan dari lapis B ke lapis C,

demikian seterusnya. Linsker (1988) menunjukkan bahwa terdapat se-

jumlah terbatas cara di mana suatu lapis dapat berkembang, karena

hanya sedikit parameter yang menentukan nilai 'akhir' c dari sel tersebut.

Parameter ini meliputi k1,2 dan ukuran bidang penerimaan (receptive field)

dari sel dalam lapis yang berkembang tersebut.Oengan cara seperti ini, muncul jenis sel baru dalam lapisan. Jika

masukan ke A acak, maka jenis sel yang mengelilingi pusat (center-sur-

round) yang berperilaku sebagai filter contrast-sensitive (yang memberi-

kan respon maksimum pada suatu bintik terang pada pusat dari suatu

latar belakang yang gelap, atau suatu bintik gelap pada pusat dari suatu

latar belakang yang terang) akan muncul pada lapis C. Lebih jauh lagi, sel




yang selektif terhadap orientasi (orientation-selective) akan muncul padlapis D (sel ini memberikan respon maksimum terhadap suatu sisi teran

pada suatu latar belakang gelap atau sebaliknya, jika bangun persegi

balok tersebut mempunyai orientasi tertentu). Dengan memasukkan se

cara cermat hubungan lateral penghambat, orientasi yang menimbulka

respon dari sellapis D dapat dikendalikan. Dengan demikian, sedereta

jenis sel penqanalisis-sifat yang jauh lebih kompleks akan muncul data

lapis yang berurutan.Pembaca sangat dianjurkan untuk memperhatikan penjelasan secar

statistik atas aturan Hebb. Asumsi dalam model di atas bahwa kelompo

sifat statistik dan aktivitas sel L tidak bergantung pada pemilihan nilai

adalah benar jika tidak ada umpan-balik dan M atau dan sel yang dipenga

ruhinya, ke sel L. Jika fungsi E didefinisikan sebagai:

di mana

1= = - - ; 2 : LQ:,c,c,

- , I

dan

Ini memenuhi:

a E

- - = = c,aCt 'r / i.

Dengan berubahnya nilai c terhadap waktu, E (sebagai suatu fungsi dari nil .

c) menurun sepanjang suatu jalur penurunan yang terdalam secara 1 0

(atau gradien). Nilai E mencapai suatu minimum lokal pada kedewasaan s I

{cell maturity}; hal ini, untuk dua macam sel pendeteksi sifat yang tela

disebutkan di atas, adalah hampir merupakan suatu minimum global. Jela




nya, E diminimisasi saat van ansi statistik dan aktivitas M dimakslmumkan,yaitu saat «(M ' - M}) dimaksimumkan,

Linsker (1988) mendemonstrasikan bagaimana jaringan ini dapat digu-

nakan untuk ,pengingatan , asosiatif. Jika sedikit pola memori akan disim-

pan, maka minimum lokal dan fungsi EQ akan berada pada {e;} yang

berkorespondensi dengan memori tersebut. Keadaan memori yang diak-

tifkan bergantung pada keadaan awal dari hubungan c. 'Terpilih' berarti

bahwa hirnpunan akhir dari nilai c akan menyebabkan sel M menjadi suatu

matched filter untuk satu dan memori ini. Kemampuan dari fungsi EQ

untuk memperoleh detail dari pola menurun dengan bertambahnya jumlah

pola. Dengan bertambahnya nilai ini, sel M yang dewasa (mature) menjadi

suatu sel penganaJisis sifat, bukannya suatu matched filter untuk suatu

memori tertentu. Jelas bahwa sifat (feature) sebenamya yang menimbulkan

respon bahkan tidak perlu ada dalam salah satu dari pola yang diberikan.

Dalam kasus khusus di mana jumlah kuadrat dan nilai c sarna dengan

satu, maksimisasi variansi dicapai dengan bentuk (ekivalen)dari aturan Hebb

berikut ini:

c, x (,\. ["(L," - ,\l"c,)}.

Di sini, M" = L Late, dan aktivitas didefinisikan sedemikian sehingga (Li) =

o untuk semua i.

5.3.2 Analisis Komponen Mendasar

Analisis Komponen Mendasar (Principal Component Analysis/PCA)

adalah suatu metode untuk mengidentifikasikan struktur yang menarik na-

mun tidak terantisipasi (misalnya penggugusan/clustering) dalam kelompok

data dimensi tinggi (Gambar 5.3). Misalkan suatu kelompok titik data Llt

mempunyai koordinat (LIlt, L 2lt, ... , L Nlt

). UntukPCA, kita menghitung suatu

vektor c di mana proyeksi kelompok titik data tadi ke sumbu yang sejajar

dengan c mempunyai variansi maksimum.Proyeksi dari L It terhadap c adalah:

,\1" =It:c,

jika




dan dengan demikian variansi dari distribusi terproyeksi ini sarna deng

yang dimilikioleh M '. Karena metode PCA berhubungan dengan pemilihan c

sedemikian untuk memaksimumkan variansi dari M", aturan Hebb y

dinyatakan di atas melakukan PCA pada kelompok masukannya.

Sekarang temyata bahwa kondisi yang perlu dipenuhi oleh c unt

melakukan PCA terhadap masukan ini adalah sarna dengan yang diperluuntuk memenuhi prinsip inferensi optimaL Hal ini dinyatakan sebag

berikut. Misalkan kita mengetahui nilai c, dan kita diberikan suatu nil

keluaran tertentu, M'. Kita diminta untuk mengestimasi aktivitas masuk

(Ll, L z , . . ., e ) dan kualitas estimasi yang kita lakukan dinilai deng

2

Kurva kerapatan (densitas) yang dibentuk dengan memproyeksikan gugusan tit ik-titik data pada tiap sumbu, -tunjukkan dalam gambar. Proyeksi pada sumbu 1 memilik i variansi maksimum dan dengan jelas menunjukka

karakter bimodal atau tergugus (clustered) dari data.

Diambil dar! Unsker, "Self-Organization in a Perceptual Network," Computer, Maret 1988, 105 - 117. (c) 1988

IEEE. Dicetak ulang seijin penetbi:

Gambar 5.3 lIustrasi dari Analisis Komponen Mendasar (Principal Com a-

nent AnalysiS/PCA)




menghitung rata-rata galat kuadrat (Mean Square Error/MSE) sebagaibenkut:

MSE = L ( [ L i " " - L,"{est)J~).

di mana

U' = nilai sebenarnya, dan

U'(est) = nilai yang diperoleh dari estimasi.

Inferensi optimal dan nilai aktivitas masukan akan tercapai jika MSE dimin-

imisasi.

Linsker (1988) menegaskan bahwa hasil tersebut menyatakan, setidak-

nya secara intuitif, bahwa suatu aturan Hebb dapat bertindak untuk

menghasilkan suatu sel M yang aktivitas keluarannya menyimpan informasi

maksimum mengenai aktivitas masukan, dengan menghadapi batasan(constraint). Tampak bahwa gagasan dan penyimpanan maksimal ini

berlaku pada perkembangan tiap lapis dari suatu sistem perseptual de-

ngan metode belajar kompetitif. Beberapa latar belakang yang diperlukan

untuk memahami prinsip ini (iuqa disebut prinsip infomax}, diberikan di

bawah ini.

5.3.3 lnformasi Shannon dan Prinsip Infomax

Setiap presentasi dari L = (L1, L2, .'" LN) adalah suatu 'pesan' di mana L;

menyatakan aktivitas dan sel L ke-i dalam Iapisan. Kita dapat menganggap

ruang berdimensi N dari vektor L ini dibagi menjadi kotak kecil yang

masing-masing dilabeli dengan Iokasinya, L Dua 'pesan' dianggap identik jika

keduanya berada dalarn kotak yang sarna. Lebih jauh lagi, misalkan P(L)

adalah probabilitas suatu 'pesan' berada dalam kotak L. Jika I(L) menyata-

kan informasi dalam suatu 'pesan', make:

I(L) = -In P(L).

Informasi rata-rata per 'pesan' adalah

([+In P(L)]) = - L P(L) In P(L).L




Jika kita mengetahui dt dalam kotak yang mana suatu vektor M berad ,maka jumlah informasi tambahan yang kita perlukan untuk merekonst

'pesan' masukan L yang menimbulkan M diberikan oleh.

T .~ ,(L );; [ +In p L ~ ) ]

di mana:

p ( ~ ) ;; probabilitas kondisional bahwa masukan berada dalam kotak L ji

diketahui bahwa keluaran berada dalam kotak M.

Jumlah informasi di mana mengetahui M akan membawa kita untuk meng -

tahui L adalah:

[PfLI.\f) ]

[(L) - J\,(L) ;; In peL) .

dan rata-rata dari nilai ini adalah laju per 'pesan' R dari transmisi inform

dari masukan sel ke keluarannya:

Dengan menggunakan identitas probabilistik sederhana, P(L/M) . P(M) =

p(L . M) ;; P (M /L) . P (L), R dapat ditulis sebagai:

R ; ; \ In[ P ~ ~ ; ~ ) ] ) .

: : : }R = -(In P(JI)) + \ In p ( ' ~ ) ) , and

:::} R :::: ([(A I)) - (ll(A f)).




Ini adalah rata-rata dari informasi total yang dibawa oleh M, dikurangi infor-

masi yang dibawa oleh Mke tujuan yang sudah mengetahui L Dengan

demikian, <h{M» adalah infonnasi yang dibawa M mengenai derau pengo-

lahan dan bukan mengenai sinyal L.

Jika sellapis L akan memberikan masukan ke sellain pada lapis M,maka

cara penyaluran masukan tersebut adalah sedemikian sehingga laju trans-

misi infonnasi (Shannon) R dari L ke M dimaksimumkan. Ini merupakan

pemyataan prinsip infomax.Untuk menghubungkan in i dengan hastl bervariansi maksimal untuk sel

tunggal, Unsker (1988) menurunkan suatu ekspresi (dengan asumsi yang

beralasan) untuk laju informasi dalam suatu sel tunggaI, sebagai berikut:

1R = -In(Det QJf) - InB .

?

di mana

v = variansi keluaran dari sel tersebut, dan

B = variansi derau.

Jika B tetap, memaksimumkan informasi Shannon berhubungan dengan

memaksimumkan variansi keluaran.

Misalkan suatu sistem dengan jumlah sel L sebarang dan hanya dua sel

Myang bergandengan,

for j = 1,2.

D i bawah asumsi standard, R dihitung dengan:

R = ~ In{Oet if) -in B,

di mana if adalah suatu matriks kovariansi 2 x 2 sedemikian sehingga:

dan



Det Q \f = 82 + 8(Wl + H - ' ; ) + W I W~(1 - pf~)

Di sini,


Wk adalah variansi keluaran dari sel M k , dan

p12 adalah koefisien korelasi aktivitas keluaran se!.

Memaksimumkan R berarti memaksimumkan Det if. Jika terdap t

suatu tingkat derau tinggi (B besar), memaksimumkan Det c t t beramemaksimumkan jumlah dari W. Hal ini dapat dieapai jika tiap sel mema

simumkan variansi ke!uarannya seeara terpisah. Jika hanya terdapat sa

kombinasi masukan yang menghasilkan variansi keluaran maksimum, kedu

sel akan menghitungnya seeara independen. Dengan demikian, sua

tingkat derau yang tinggi mendukung redundansi, karena ini melemahka

efek penghancuran-informasi dari derau. Di pihak lain, suatu tingkat dera

yang rendah (B kecil) berakibat bahwa Det ifdimaksimumkan denga

membuat suatu tradeoff optimal antara menjaga agar W besar dan me

buat respon dari kedua sel M tak berkorelasi. Suatu tingkat derau yan

rendah menghasilkan keberagaman respon karena nilai informasional da

sel yang mengekstrak kombinasi masukan yang berbeda mengalahka

kerugian karena variansi keluaran tiap set menjadi sedikit lebih kecil,

Hasil ini berlaku pada sistem yang rnemilikijauh lebih banyak dari dua s

M. Jika variansi derau B besar, dan jika sedikit sel M 'melihat' himpunan se

L yang sarna, kita mengharapkan sel M tersebut berkembang sedemikiuntuk memaksimisasi variansi aktivitas individualdan dengan demikian meng

hasilkan redundansi untuk melawan tingkat derau yang fuggi. Sebaliknya ji

B keeil dan banyak sel M yang 'melihat' daerah L yang sama, maka sel

terse but tidak melakukan fungsi pengolahan yang sarna terhadap mas

lapis L. Sel ini pada kenyataannya dapat saja merniliki sejumlah sifat penga

nallsis feature.

lnfomax dictum bahwa informasi yang meneapai suatu lapis diola

sehingga jumlah maksimum dipertahankan secara umum tidak berarti suatpemetaan satu-ke-satu dalam mana tiap set M menerima masukan dar'

hanya satu sel L. Derau menghalangi pemetaan identitas dalam memperta

hankan informasi secara maksima!. Sebaliknya, tiap sel memberikan respo

pada feature-feature yang siqnifikan secara statistik dan secara teori infer-

masi, mirip dengan cara kerja analisis komponen mendasar (principal

component analysis). Suatu analogi dapat diarnbil dari manajemen, di




mana sel dalam lapis yang beragam tersebut berkorespondensi denganbirokrat dan beragam tingkatan. Sel-sel tingkat terendah hanya mengum-

pulkan infonnasi, dan jika bergerak semakin ke atas tiap tingkat merangkurn

infonnasi yang diterima dari tingkat-tingkat sebelumnya. Kompleksitas rang-

kuman meningkat jika kita bergerak naik dalam hirarki tersebut. Karena

pekerja tingkat rendah tidak perlu mengetahui apa tujuan keseluruhan dari

organisasi dan sel manajemen tertinggi tidak memerlukan data tak penting

yang disarinq oleh tingkat yang lebih rendah, maka prinsip optimisasi lokal

dapat diterapkan.

5.4 Model Fukushima: Contoh Lain dari Metode

Belajar KompetitiJ

Fukushima (1975) juga menerapkan metoda belajar kompetitif dalam jaringan

neuralnya yang berlapis banyak, yang disebut kognitron. Kognitron dikem-

bangkan sebagai tanggapan terhadap pengamatan bahwa jaringan neural

dalam pusat penglihatan pada otak berkembang seclemikian rupa untuk

mengenali feature dalam pola masukan yang diberikan kepadanya.

5.4.1 lmplikasi dari suatuAturan Hebb yang Dimodifikasi

Suatu Aturan Hebb yang diaugmentasi digunakan d t sini, clan clapat dinya-

takan sebagai berikut:

Hubungan sinapsis dari sel x ke sel y diperkuat jika dan hanya jika kedua

kondisi berikut ini dipenuhi bersama-sama: (1) sel presinapsis x mela-

kukan penembakan, dan (2) tidak ada sel postsinapsis lain di dekat set y

yang melakukan penembakan lebih kuat dari y.

Daerah dan mana suatu set dapat memiliki sinapsis afferent (masukan-

nya), disebut daerah connectable dan sel tersebut, sedangkan daerah ke

mana sinapsis efferent (keluarannya) terhubung disebut daerah vicinity

(sekeliling). Plastisitas berakibat bahwa semua sinapsis dalam daerah con-

nectable tidak periu muneul seeara sirnultan. Kondisi 2 menyatakan bahwa

sel y melakukan penembakan terkuat di antara sel lain dalam daerah

vicinity-nya. Perlu diperhatikan bahwa jika tidak ada seI vicinity yang

melakukan penembakan, semua sinapsis efferent diperkuat. Dalam kondisi




seperti ini, penguatan terse but masih lebih keeil daripada jika setidak-·-daknya satu sel oicinity melakukan penembakan. Suatu alasan bioi

memperkuat hasil intuitif ini, Penguatan sinapsis memerlukan suatu sekr

dari suatu sel glia; penyebaran dari satu sel glia berimpitan dengan sua

daerah oicinity. Bahan penguatan tersedia dalam jumlah yang terbat

sehingga harus didistribusikan pada sinapsis yang perlu diperkuat saj

Semakin besar jumlah sinapsis ini, semakin kecil penguatan yang dihasilk

Lebih jauh lagi, karena Kondisi 2, perbedaan kecil dalam karakteris

antara sel tersebut akan berkembang menjadi semakin kentara. Ini ta

paknya menghasilkan pengembangan dari sel pendeteksi feature. Suatu

yang rusak akan digantikan oleh sel yang lain. Jika kerusakan menyebab

suatu sel dengan karakteristik tertentu berhenti memberikan respon, te

patnya akan diisi oleh sel dengan respon terkuat berikutnya untuk karakt

istik tersebut, yang selanjutnya berkembang menjadi lebih kuat. Deng

demikian, suatu fungsi memperbaiki-sendiri terbentuk.

5.4.2 Kognitron

Elemen neural dalam kognitron Fukushima memakai nilai keluaran anal

tak-negatif yang diberikan oleh hubungan:

_ [ I+ ~ a(lI) . U (II) _ ]

w-¢ .\1 1.

I+ L b(p.) . v(/L},,~I

di mana

q ,[x ] ~ {~(x 2: 0)

(x < O).

Di sini u(l}, u(2} , ... , u(N) adalah masukan dari sinapsis afferent pe -

bangkit, dan v(l), 0(2} , ... , v(N) adalah masukan dari sinapsis affere t

penghambat. Juga,

a([v} = konduktansi analog tak-negatif dari sinapsis pembangkit, dan



Beberapa Model Belajar 13 1

b(u) = konduktansi analog tak-negatif dari sinapsis penghambat.

Selanjutnya jika e dan h masing-masing adalah jumlah dari efek pembang-

kitan dan penghambatan, yaitu:

v

e = 2 : a(v) " u(v).'-1

\I

h = L b(j.L) " v ( J . L )

maka kita dapat menulis ulang ekspresi untuk keluaran sebagai berikut:

[l+e ] [ e - h ]lV=w1+h-1 =(P}+h"

Perhatikan bahwa untuk suatu sistern mirip kognitron di mana sinapsissecara kontinu diperkuat, kita tak dapat mempunyai elemen penyulutan

analog (analog-threshold) karena masalah saturasi. Karena untuk h kecil

ekspresi di atas dapat dituliskan sebagai w=(e-h), ini tidak tepat. Meskipun

demikian, jika e : > > 1 dan h >> 1, maka didapat pendekatan W= (e/h-l) clan

keluaran sel mendekati suatu nilai tertentu selama konduktansi sinapsis pem-

bangkit dan penghambat meningkat dengan lajuyang sarna.

Elemen neural yang memenuhi sifat ini membentuk lapisan dalam kogni-

tron. Sel pembangkit dalam suatu lapis / menerima dua macam masukan,yaitu masukan pembangkit dari sel pembangkit dalam lapis ke-(l-l) sebelum-

nya dan masukan penghambat dari sel penghambat dalam lapis ke-{/-l).

Selanjutnya, sel penghambat dalam lapis ke-(/-l) menerima masukan dari sel

pembangkit dalam lapis yang sarna (yaitu bahwa daerah connectable dari

suatu sel pembangkit sarna dengan pada sel penghambat dalam lapis se-

belumnya) dan mengeluarkan nila rata-rata dan nilai ini kepada sel pembangkit

dalam lapis ke-l. Pengaturan seperti ini secara rekursifmendefinisiken struktur

dart kognitron (lihatGambar 5.4).Hasil Fukushima (1975) pada dasamya menegaskan prinsip belajar kompe-

titif. Hubungan pembangkit lebih banyak mengalami penguatan daripada

hubungan penghambat jika sel tersebut memberikan suatu keluaran tinggi;

sebaliknya, hubungan penghambat lebih banyak mengalarni penguatan (dibuat

menjadi lebih menghambat) jika sel tersebut memberikan keluaran rendah.




Lapis u( I " 1)~.-,------, .. .-----------.--~~- Lapis u{l)

Pembangkit

C)

IPenghambatIo

nV

o

Gambar ini men unjukkan bahwa daerah connectable dari suatu sel pembangkit sarna dengan daerah connect-

able dari sel penghambat dalam lapis sebelumnya.

Diambil dari Fukushima, Kunihiko, "Cognitron: A Self-Organizing Multi layered Neural Network," Biological

Cybernetics 20, 121-136, 1975. Dicetak ulang seijin penerbit.

Gambar 5.4 Dua lapis yang berurutan da/am suatu kognitron.

Selanjutnya, kemampuan kognitron untuk membedakan suatu pola dan pollain yang mirip timbul sebagai hasildan tingkat penguatan yang tinggi terhac:la

hubunqan penghambat (iika suatu sel memberikan keluaran rendah), yan

menyebabkan sel postsinapsis menjadi lambat untuk memberikan respo

terhadap pola stimulusselain dan pola yang menyebabkan sel tersebut mend

pat penguatan.

5.4.3 Neokognitron

Fukushima (1980) melakukan modifikasi terhadap kognitron untuk meng

tasi kelemahan utamanya {yaitubahwa respon kognitron sangat dipengaru

oleh pergeseran posisi dan/atau distorsi dalam bentuk pola masukan, s -

hingga membatasi kegunaannya sebagai suatu peranti pengenal pola.

Dalam model hirarkis teraugmentasi yang dihasilkan (disebut neokognitro )




sel dalam tingkat tertinggi diharapkan memberikan respon secara invarian-posisi kepada pola stimulus yang spesifik.

Dalam neokognitron terdapat susunan struktur modular yang masing-

masing tersusun dari dua lapis terkaskade yang berisikan: (1) sel 5 yang

berkorespondensi dengan sel sir:nple/sederhana, dan (2) sel C yang berkore-

spondensi dengan sel complexlkompleks. Hanya sinapsis masukan ke sel 5

saja yang diharapkan bersifat plastis dan dapat dimodifikasi. Dalam tiap

lapis (5 maupun q beberapa sel dikelompokkan bersama-sama untuk

membentuk bidang sel. Karena semua sel dalam suatu bidang sel tunggal

mempunyai sinapsis masukan dari distribusi spatial yang sarna, maka field

reseptif dari sel tersebut secara fungsional adalah ekuivalen. Meskipun

demikian, posisi dari set presinapsis dapat berbeda-beda untuk tiap sel dalam

suatu field sel tertentu. Karena itu, field reseptif dari sel dalam suatu field sel

terdapat pada posisi yang berbeda-beda.

Prosedur belajar neokognitron secara kasamya adalah sebagai berikut.

Seperti dalam semua sistem dengan metode belajar kompetitif, proses imbersifat unsupervised (tanpa pengawasan). Pada awalnya, sinapsis yang

dapat dimodifikasi diberikan nilai positif kecil sehingga sel 5 menunjukkan

selektivitas orientasi yang sangat lemah, dan kecenderungan orientasi dari

sel 5 ini berbeda-beda antara bidang-5 yang satu dengan yang lainnya.

Bayangkan bahwa semua bidang-5 dalam suatu lapis-S ditumpuk satu di atas

yang lain untuk membentuk suatu kolom-S. Sekarang, jika suatu pola

stimulus diberikan pada kolom ini, sel 5 dengan keluaran terbesar dipilih

sebagai calon untuk diperkuat. Dalam semua event di mana terdapat palingsedikit satu respon maksimal, hanya satu sel calon yang dipilih dari tiap

bidang-5. Pada suatu saat, tiap bidang-S menjadi sensitif selektif terhadap

beberapa feature dalam pola masukan. Dua bidang-S tidak akan mende-

teksi feature yang sarna.

Dengan demikian, sejumlah sel pengekstrak feature dengan fungsi yang

sarna dibentuk secara paralel dalam Hap bidang-5, dengan perbedaan hanya

pada posisi field reseptifnya. Hal ini mendasari sifat invariansi posisi dari

neokognitron. Jika dilakukan pergeseran terhadap suatu pola stimulus yang

menimbulkan respon dari suatu sel 5, sel S yang lain dalam bidang-S yang

sarna akan memberikan respon terhadap pola tersebut. Karena sel C mem-

berikan respon kuat jika sekurang-kurangnya satu set S dalam daerah con-

nected-nya memberikan keluaran besar, pergeseran dari pola stimulus tidak

akan mempengaruhi respon dari sel C. Ada cara yang sederhana untuk




menghubungkan kognitron dengan neokognitron yang merupakan modteraugmentasinya: jika suatu bidang-S tunggal dalam neokognitron berk

respondensi dengan suatu sel pembangkit tunggal dalam kognitron, ma

prosedur penguatan (reenforcement) dapat dipandang mempunyai bany

kesamaan dalam kedua sistem tersebut.

5.5 Model Aktivasi Interaktif

Model aktivasi interaktif dinyatakan mampu menjelaskan fakta mendas

mengenai persepsi kata (word perception). Versi yang sangat disederh

nakan membatasi pengolahan hingga tinggal tiga tingkat hirarkis, yai

tingkat feature, tingkat huruf, dan tingkat kata. Dasar dari model ini adala

sebagai berikut: suatu masukan visual mengaktifkan detektor dati featur

visual dalam tampilan. Ini kemudian mengaktifkan detektor dati huruf yankonsisten dengan feature aktif tersebut, yang selanjutnya mengakti

detektor untuk kata-kata yang konsisten. Detektor kata aktif ini salin

menghambat satu sama lain dan mengirimkan umpan-balik ke tingkat kat

memperkuat aktivasi serta perseptibilitas dari huruf yang dideteksinya.

McClelland (1981) menyatakan bahwa hingga sekarang ini dapat dib

yangkan bahwa konteks di mana suatu huruf diberikan hanya mempeng

ruhi ketepatan proses post-perseptual, bukannya proses persepsi itu sendi .

Meskipun demikian, penemuan Reicher (1969) menunjukkan bahwa subye

sebenamya terdapat bersama dengan lebih banyak informasi yang releva

untuk suatu pilihan antara altematif tersebut jika huruf yang dituju merup

kan bagian dati suatu kata. Huruf-huruf dalam suatu kata bersifat lebi

persepsibel karena menerima lebih banyak aktivasi daripada representa

suatu huruf tunggal ataupun huruf-huruf dalam konteks yang tidak berh

bungan. Beberapa hasil lain dalam kaitan dengan ini adalah: efek terseb

tidak bergantung pada familiaritas kata tersebut sebagai suatu konfiguravisual Cbentuk' kate): keunggulan ini ditingkatkan jika sasaran muncul dala

suatu tampilan dengan tingkat kekontrasan yang tinggi; keunggulan ini jug

terdapat pada frasa-frasa bukan kata yang dapat diucapkan, seperti re

atau mave; huruf dalam konteks kata dengan batasan sangat ketat hampi

tidak memiliki keunggulan terhadap huruf dalam konteks kata denga

batasan longgar.

t I




Asumsi yang menonjol dari model aktivasi interaktif (Gambar 5.5) adalahsebagai berikut:

1. Tiap tingkat pengolahan melakukan pembentukan suatu represen-

tasi masukan pada suatu tingkat abstraksi yang berbeda.

2. Terdapat dua jenis paralelisme inheren dalam model tersebut; para-

lelisme spatialtimbul dati kemampuan mengolah beberapa huruf

dalam satu kata sekaligus. Selain itu, berbagai proses bekerja secara

simultan pada beberapa tingkat yang berbeda.

3. Persepsi merupakan suatu proses interaktif. Pengolahan top-

down/diaktifkan secara konseptual bekerja bersama-sama dengan

pengolahan bottom-up/digerakkan oleh data, untuk menghasilkan

suatu pelipatgandaan batasan yang secara bersama-sama menentu-

kan persepsL

4. Model interaksi ini menggunakan aktivasi pembangkit dan penq-hambat sederhana dari suatu jenis neural.

Komunikasi yang terdiri dari pesan pembangkit dan penghambat ber-

langsung melalui suatu mekanisme aktivasi tersebar di mana aktivasi pada

suatu tingkat menyebar ke tingkat tetangganya dan mempengaruhi tingkat

aktivasi dati penerima. Hubungan dapat terbentuk dalam tingkat atau di

antara tingkat yang berurutan, tetapi tidak pemah terbentuk antara tingkat

yang tidak berurutan. Untai//oop penghambat dalam suatu tingkat (in-

tra/eve/) merepresentasikan sejenis penghambatan lateral di mana unit yang

tak kompatibel dalam tingkat yang sarna saling bersaing. Hubungan intra-

level dapat bersifat membangkitkan atau menghambat.

Suatu simpul aktif jika nilai aktivasinya positif. Tanpa ada masukan,

simpul akan mengalami 'peluruhan' menuju suatu keadaan tak-aktif (yaitu

menuju suatu nilai aktivasi di bawah nol):

a;{t} = nilai aktivasi untuk simpul ipada waktu t,

ri = tingkat istirahat ( resting level) untuk simpul i (r; ekivalen dengan

frekuensi kemunculan kata), dan

O i (t) =laju peluruhan ke re sting le ve l.

Jika ni(t) menyatakan masukan netto ke unit i, maka:




Masukan tingkat yang lebih tinggi

U !

U1ingkat feature": :','1ingkatf~ture ')1, akustik "~

nasukanvisual Masukan akustik

Diambil dari McClel land, Interact ive Act ivat ion Model of Context Ef fects in let ter Perception: Part 1: An Account

of Basic Findings,' Psychological Review,58, No.5, 375-407. (c) 1981, the American Psychological Association.

Dicetak ulang seijin peneroit.

Gambar 5.5 Penggunaan model aldivasi interaldif da/am persepsi kat

visual dan auditorial.

di mana

ej{t) = aktivasi dari suatu tetangga pembangkit aktif dari simpul i,

i k ( t ) = aktivasi dari suatu tetangga penghambat aktif dari simpul i, dan

aij,Yik adalah konstanta bobot.

Tingkat pengaruh dari masukan pada simpul tersehut dimodulasi oleh tin

kat aktivitas simpul pada saat itu, untuk menjaga agar masukan ke simp

tadi tidak mendorongnya melampaui suatu bates maksimum dan minimu




Untuk eksitasi (pembangkitan) netto, jika Ei(t) adalah pengaruh padasimpul, maka:

Ei(t) = ni(t)(M-ai(t)),

di mana

M = tingkat aktivasi maksimum dari unit tersebut.

Untuk inhlbisi (penghambatan) netto:

Ei(t) = ni(t)(ai(t)-m),

di mana

m = aktivasi minimum dari unit tersebut.

Dengan memasukkan faktor peluruhan simpul, maka aktivasi yang baru

menjadi:

ai(t+LH) = a i(t) - EMa,(t)-r,) + EM).

Masukan ke jaringan memberikan suatu himpunan feature biner (biner

di sini berarti ada atau tidak), yang masing-masing akan dideteksi dengan

probabilitas p (diasumsikan bahwa deteksi terjadi secara instant). Simpul

pada tingkat huruf yang tidak berisi feature yang terekstrak, akan menga-

lami penghambatan. Pemberian suatu tampilan baru menggantikan yanglamaakan menyebabkan ekstraksi probabilistik terhadap himpunan fea-

ture yang terdapat dalam tampilan baru tersebut.

Diasumsikan bahwa respons - dan mungkin juga isi dari perceptual

experience - bergantung pada integrasi temporal dari pola aktivasi untuk

seluruh simpul. Proses integrasi ini menggunakan suatu rataan-berjalan

(running average) dari aktivasi simpul terhadap waktu sebelumnya:

I,- . -it-'I!lr

a ,(t) = -za ,(x)e dx .

di mana

r = pembobotan relatif yang diberikan pada informasi lama dan baru.




Kekuatan respon merupakan suatu fungsi eksponensial dari aktivasi ru -ning average tersebut:

Probabilitas pembentukan suatu respon didasarkan pada simpul iadalah:

s,(t)p(R"t) = - - ,

L s/(t)iEL

di mana L menyatakan himpunan simpul yang berkompetisi pada tingk t

yang sarna dengan i.

Jika tampilan (display) yang dituju dibuat on dan dibiarkan dalam kead -an demikian hingga subyek memberikan respon dan tidak ada keharus

(tekanan) untuk memberikan respon secepatnya, maka diasumsikan bah

subyek akan menunggu hingga kekuatan keluaran telah mencapai nil i

asimptotisnya. Jika suatu tampilan yang dituju diberikan dengan diikuti ole

suatu cadar berpola (patterned mask), maka aktivasi yang dihasilkan ber -

fat transien.

Model aktivasi interaktif yang dijelaskan di atas dapat dipandang sebag i

suatu model relaksasi yang berusaha untuk menterjemahkan suatu ka

masukan secara optimal dengan memanipulasi tingkat aktivasi dari t

hidden. Jika model sebelumnya mendukung pendekatan hirarkis y

serupa untuk pengolahan masukan, hal menarik dari model ini adalah ca

di mana pengolahan pada semua tingkat dalam hirarkinya terjadi seca

paralel. Keluaran parsial secara kontinu selalu tersedia untuk pengolah

pada tiap tahap, dan informasi mengalir dalam kedua arah secara simult

Perhatikan suatu tugas yang sederhana, yaitu membaca. Persepsi te -hadap sebarang huruf secara individual terjadi selama persepsi simult

dari beberapa huruf lain di sekelilingnya, yang membantu membent

konteks bagi huruf tersebut. Rumelhart (1982) melakukan serentet

eksperimen untuk menunjukkan alur temporal dari fasilitas yang disedi -

kan konteks tersebut untuk persepsi dari huruf sasaran. Sebagai conto ,

diperlihatkan bahwa durasi dan pewaktuan (timing) dari presentasi info -




masi kontekstuaJ sangat mempengaruhi persepsi dari huruf sasaran. B e -berapa eksperimen yang dilakukan meliputi penentuan apakah perseptibili-

tas suatu huruf dalam suatu kata bergantung pada durasi huruf-huruf

konteks dalam tampilan, menunjukkan bahwa tibanya infonnasi kontekstual

secara dini mempersiapkan simpul pada tujuan dan memudahkan persepsi

sasaran, sedangkan presentasi konteks yang mengikuti sasaran kurang

berarti. Eksperimen lain juga meliputi pemeriksaan kepentingan relatif dari

infonnasi kontekstual tambahan lawan bukti langsung tambahan.

Kesimpulan yang diperoleh dari eksperimen dengan model aktivasi

interaktif ini adalah sebagai berikut. Semakin panjang durasi konteks dan

semakin besar jumlah huruf konteks yang diperjelas, semakin akurat ki-

nerja pemilihan-terdesak (forced-choice) pada huruf sasaran. Pengaruh

jelas dari konteks terhadap persepsi dipertegas oleh fakta bahwa huruf

dalam frasa bukan kata yang mirip dengan kata adalah lebih mudah

dipersepsikan daripada huruf yang terletak misalnya dalam sekumpulan

karakter atau dalam suatu himpunan huruf yang dikelornpokkan secaratidak konsisten terhadap regularitas statistik untai huruf dalam bahasa

Inggris.

5.6 Perbandingan antara Metode Belajar Kompetitif

dan Model Aktivasi Interaktif

Grossberg (1987a) menunjukkan bahwa baik tingkatan maupun interaksi

antara kedua paradigma tersebut adalah tak kompatibel. Perbedaan utama

yang pertama adalah bahwa interaksi antar tingkat (interlevel) yang dite-

mukan dalam model aktivasi interaktif tidak dapat ditirukan dalam model

belajar kompetitif. Dalam model belajar kompetitif, semua hubungan antar

tingkat bersifat membangkitkan (excitatory) sedangkan dalam model akti-

vasi interaktif hubungan antar tingkat secara selektif bersifat membangkit-

kan atau menghambat. Sifat selektif ini merupakan sesuatu yang perlu

dipelajari, dan Grossberg (1987a) menunjukkan bahwa proses belajar yang

dernikian tidak clapat terjadi dalam model belajar kompetitif.

Perbedaan kedua adalah bahwa tingkat huruf dan tingkat kata dari model

aktivasi interaktif tidak terdapat dalam suatu model belajar bahasa yang




didasarkan pada model belajar kompetitif. Untuk itu, perhatikan argumeyang diberikan oleh Grossberg (1987a). McClelland (1981) mensyaratka

bahwa suatu tahap yang terdiri dari simpul huruf mendahului pengolaha

huruf yang muncui sebagai kata-kata dalam lapis berikutnya. Meskip

McClelland (1981) menggunakan contoh spesifik dari kata dengan empa

huruf dalam lapis kata, konsep aktivasi interaktifnya harus digeneralisasi

untuk kata dengan panjang sebarang, khususnya kata dengan huruf tunggal

Ini berarti bahwa huruf yang juga adalah kata (misalnya "A" dan H[" dala

bahasa [nggris) akan muncul pada lapis huruf dan juga pada lapis kata

sedangkan huruf yang bukan merupakan kata hanya akan muncul dala

lapis huruf. Pembedaan ini tak dapat dipelajari oleh suatu metode be

lajar tanpa pengawasan (unsupervised) seperti metode belajar kompetitif

Lebih jauh lagi, Grossberg (1987a) memberikan pertanyaan beriku

mengenai model aktivasi interaktif. Apa yang diepresentasikan oleh sim

put (yang seharusnya merepresentasikan huruf atau kata tertentu) sebelu

huruf atau kata tersebut dipelajari? Juga, bagaimana caranya simpul tersebumerepresentasikan huruf atau kata yang belum dipelajari? Kenyataan bahw

kata berhuruf tunggal terdapat secara terpisah dalam tingkat huruf da

tingkat kata menunjukkan bahwa tingkat ini seharusnya mampu mempe

kuat satu sarna lain sehingga menjadi lebih mudah mengenali kata berhu

tunggal daripada kata lainnya. Grossberg (1987a) menyatakan bahwa liter

tur lainnya menunjukkan bahwa ini bukanlah masalahnya.

5.7 Teori Resonansi Adapti/: Suatu Versi Metode

Belajar Kompetiti/ yang telah Distabilkan

Sejauh ini kita telah memperkenalkan metode belajar kompetitif dan mod

aktivasi interaktif. Paradigma ini, bersama-sama dengan paradigma lainny

dengan cara belajar tanpa pengawasan, merepresentasikan usaha unmemenuhi salah satu tujuan utama dari ilmu komputer, yaitu untuk m

ngembangkan suatu mesin cerdas yang dapat berfungsi secara memuaska

tanpa bantuan dalam suatu Iingkungan yang kompleks. Sayang sekal

masalah stabilitas tertentu menghalangi paradigma di atas untuk mencap .

tujuan terse but atas. Selebihnya dari bab ini membahas paradigma belaj

adaptif yang merupakan suatu usaha untuk memperlengkapi metode bel




jar kompetitif dengan stabilitas. Akhimya kita akan membahas bagaimanaparadigma ini berhubungan dengan paradigma propagasi balik. Paradigma

propagasi batik yang juga disebut dengan aturan delta yang diperumum

(generalized delta rule) telah dibahas secara cukup terpetinci dalam Bab

4.

Telah dibuktikan bahwa dalam lingkungan masukan tertentu, jika jumlah

pola yang diberikan pada lapis masukan dati suatu sistem dengan metode

belajar kornpetitif tidak terlalu besar relatif terhadap jumlah simpul peng-

kode dalam lapis keluaran, maka kode pengenalan yang dipelajari akan

menjadi stabil dan dihasilkan best distribution dari jalur memori jangka

panjang//ong-time memory/LTM (sejauh ini disebut sebagai bobot adap-

tif). Meskipun demikian, dalam Iingkungan dengan masukan sebarang,

metode belajar kompetitif mungkin tak dapat mempelajari suatu kode yang

stabil secara temporal. Karena itu, pemberian suatu pola stimulus yang

sama kepada sistem secara berulang-ulang dapat menghasilkan respon yang

berbeda-beda; lebih jauh lagi, perilaku ini mungkin tidak akan pemah selesaidalam proses belajar. Pada dasamya, tiap masukan menyebabkan modifi-

kasi terhadap jalur LTM sehingga presentasi masukan yang sarna secara

berturutan akan mengkasilkan reaksi yang berbeda. Hal ini disebut sebagai

dilema stabilitas-plastisitas, Grossberg (1987a) menyatakan ini sebagai

berikut:

Bagaimana suatu sistem belajar dirancang untuk tetap plastis atau adaptif

terhadap event-event signifikan namun tetap stabil terhadap event-event

yang tak relevan? Bagaimana sistem tersebut mengetahui bagaimana

ber-ubah antara modus stabil dan modus plastis untuk mencapai kestabi-

Ian tanpa menjadi kaku dan plastisitas tanpa kekacauan (chaos)? Secara

khusus, bagaimana sistem itu mempertahankan pengetahuan yang dipe-

lajarinya sebelumnya sarnbil tetap mempelajari hal-hal baru? Apa yang

menjaga agar pelajaran yang barn tidak menggusur ingatan akan pelajar-

an sebelumnya?

Maksud dari teoti resonansi adaptif (adaptive resonance theory - ARn

adalah untuk menunjukkan bagaimana menerapkan suatu model belajar

kompetitif ke dalam suatu struktur kontrol pengaturan-sendiri (self-regulat-

ing) dengan proses belajar otonom dan proses pengenalan berlangsung

secara stabil dalam respon terhadap suatu urutan pola masukan sebarang.

Pada kenyataannya, jalur LTM dati suatu model ART berosilasi paling tidak




sekali dalarn proses belajar jika dihadapkan pada suatu urutan masukasebarang.

Model ART mempunyai suatu penyaring/filter yang terletak pada jalu

antara field representasi feature awal F : menuju ke field representasi katego

F2, sebagaimana dalarn model belajar kompetitif, serta suatu filter adapti

top-down yang terletak pada jalur dati F2 ke F l. Adanya jalur ini membed

ART dati model belajar kompetitif secara arsitektur, dan peranan jalur .

dalarn menghasilkan penstabilan-senditi (sel!-stabili-zing) membedakan kedu

model ini secara fungsional.Jika simpul pada Fl diaktifkan oleh suatu pola masukan I, suatu pol

aktivasi X dibentuk melintasi simpul F l. Pola X dikatakan mewakili I dala

memoti jangka-pendek (short-term memory - STM). Aktivasi ini ke

mudian melalui bobot (jalur LTM) dalam jalur dati Fl ke F2 dan mengha

silkan tingkat aktivasi lain T melintasi simpul F2. Proses ini dalam Grossber

(1987a) disebut sebagai penyaringan adaptif bottom-up. Sekarang, miri

dengan cara kerja model belajar kompetitif, dipilih salah satu simpul dati F

yang merepresentasikan suatu kategoti tertentu. Simpul (kategoti) ini me

ngetahui aktivasi apa yang direpresentasikannya, dan selanjutnya kita sebu

Y. Grossberg (1987 a) menyebut ini sebagai pola peningkat kekontrasa

(contrast-enhanced pattern). Kita dapat mengatakan bahwa Y merepre

sentasikan T dalam STM. Sekarang, Y menghasilkan suatu pola aktivitas

yang di-gate oleh jalur LTM dalam jalur umpan-balik dati F2 ke Fl. I

menimbulkan pola aktivasi V pada simpul Fl. Proses ini disebut sebag

pencocokan template secara top-down, dan V berperan sebagai ekspektyang dipelajati. Sekarang, pola masukan bottom-up I yang memulai selu

proses ini serta pola top-down V keduanya membetikan usikan pada simp

dalam F l. Fl berusaha untuk mencocokkan V terhadap I dan menghasi

pola aktivitas baru X*. Perhatikan bahwa rantai aktivasi keseluruh

I~X~S~T~Y~U~V~x* berlangsung sangat cepat relatif terhadap laj

perubahan yang mungkin dati bobot GalurLTM)dalarn filteradaptif top-dow

maupun bottom-up.

Sistem yang dijelaskan di atas sebenamya hanya merupakan salah sa

bagian dati arsitektur ART. Terdapat pula suatu subsistem orienting A yan

fungsinya pada dasamya adalah untuk menembakkan suatu reset-burs

pada simpul F2 dalam keadaan tertentu (akan dibahas di bawah im), Pol

masukan I juga mengaktifkan A, tetapi jalur STM X menghambat Aunt

melakukan penembakan. Sekarang jumlah peredarnan terhadap pola

I II ,




untuk menghasilkan X*bergantung pada seberapa banyakJ

yang ada dalampola template V (semakin besar jumlah ketidakcocokan, semakin besar

peredamannya). Jika X diredam, pengaruh penghambatannya pada sub-

sistem orienting diperlemah. Ini kemudian melakukan penembakan reset

burst ke simpul F2 yang menghasilkan penyingkiran pola top-down tem-

plate V dan berhentinya ketidakcocokan antara V dan I pada simpul Fl.

Pola yang membawa kepada rantai aktivasi sekarang mengulangi dirinya

sendiri untuk menghasilkan top-down template lain untuk dibandingkan

dengan J pada simpul Fl. Pola template Vdijaga agar tidak terpilih lagi olehsifat jangka panjang dari reset burst yang ditembakkan oleh subsistem

orienting.

Siklus penyaringan adaptif bottom-up dari F t ke F2, pemilihan template

pada F 2, pengkomunikasian template dati F2 ke F i, pencocokan pada F i,

dan reset pada F2 beruIang dengan laju tinggi hingga terjadi salah satu dati

ketiga kemungkinan berikut:

1. Ditemukan suatu template yang kira-kira coeok dengan pola rna-sukan J .

2. Ditemukan suatu simpul F2 yang sebelumnya uncommitted (yang

kernudian akan mengambil pola J sebagai template).

3. Kapasitas sistem terlampaui dan tak dapat menampung I.

Modifikasi terhadap jalur (bobot) LTM hanya terjadi dalam yang pertama

dari ketiga kejadian tersebut. Pola gabungan X (yang terjadi jika masukan Jdibandingkan terhadap suatu template V yang cukup mirip) merepresenta-

sikan fokus 'perhatian' sistem. Pola sinyal bottom-up dan top-down meng-

alami penguncian dalam suatu keadaan resonansi dari aktivasi STM. Pada

saat itu jalur LTM 'mempelajari' tiap informasi baru mengenai pola masukan

yang direpresentasikan dalam pola aktivasi gabungan pada Fl. Istilah teori

resonansi adapts] mencerminkan kenyataan bahwa proses belajar terjadi

hanya dalam keadaan resonansi.

Aturan dua-pertiga yang dijelaskan oleh Grossberg (1987 a) digunakanuntuk mengatur interaksi antara pola masukan dan pola template pada

tingkat simpu Fl. Aktivasi supraliminal dari simpul F ; yang terjadi sebagai

respon terhadap suatu pola masukan bottom-up sebarang, cukup untuk

menghasilkan sinyal keluaran menuju bagian lainnya dari jaringan tersebut.

Aktivasi subliminal dan simpul Fl sebagai respon terhadap ekspektasi top-




down sebarang mempersiapkan simpul F : untuk pola masukan yang

datang yang boleh jadi merupakan tanding an yang mendekati ekspekt

tersebut, tetapi tidak dapat dengan sendirinya menghasilkan suatu siny

keluaran. Suatu sumber masukan ketiga untuk F i yang disebut salur

pengendali penguatan atensional (attentional gain control channel) digu

nakan untuk membedakan antara masukan top-down dan bottom-up

Dengan aturan dua-pertiga, aktivasi supraliminal dari suatu simpul FJ men

syaratkan bahwa paling sedikit dua dari tiga masukan (bottom-up, to

down, dan pengendali penguatan/gain control) ke simpul F i tersebut aktifSelama pengolahan top-down, tiap simpul Fl menerima suatu sinyal da

hanya satu sumber sehingga hanya dapat diaktifkan secara subliminal

Selama pengolahan bottom-up, tiap jalur bottom-up aktif dapat 'menyala

kan' simpul pengendali penguatan (yang memberikan masukan pada semu

sirnpul Fl). Dengan demikian, simpul bottom-up yang tidak aktif hany

menerima masukan dari simpul pengendali penguatan. Pada sisilain, simp

bottom-up aktif menerima masukan dari simpul pengendali penguatan da

dari pola bottom-up, dan diaktifkan secara supraliminal. Akhimya, pad

saat peneocokan temp/ate dan pola masukan terjadi, pengendali penguata

dimatikan. Jadi hanya simpul F : yang meneTima konfirmasi dati masuka

bottom-up yang diaktifkan secara supraliminal. Dengan demikian adala

mung kin bahwa pada saat terjadi ketidakeocokan, lebih sedikit simpul f

yang aktif selama tahap pencocokan pola daripada selama presentasi pad

tahap masukan. In i menyatakan suatu penurunan aktivitas dalam Fi, da

dengan demikian berarti juga suatu penurunan efek penghambatan dasimpul FJ terhadap subsistem orienting yang disebutkan sebelumnya. Deng

demikian, suatu ketidakcocokan memungkinkan subsistem orienting menem

bakkan reset burst pada simpul F2.

Banyaknya ketidakcoeokan yang dapat ditolerir sebelum suatu temp/at

dianggap tidak coeok dengan pola masukan ditentukan oleh paramete

tingkat kewaspadaan. Suatu sistem ART dengan tingkat kewaspadaan ren

dah akan mengijinkan sejumlah besar ketidakeocokan, sehingga terja

pengelompokan pola aktivitas yang hanya mirip secara kasar. Ini berlawanan dengan sistem dengan tingkat kewaspadaan tinggi yang meneob

dan membentuk kategori terpisah untuk sistem yang hanya memiliki perbe

daan kecil. Perubahan tingkat kewaspadaan dapat diinterpretasikan sebag

suatu perubahan dalam keadaan atensional sistem yang meningkatka

sensitivitasnya terhadap ketidakeocokan.




Grossberg (1987a) merangkum pembahasan di atas dengan memberikanempat sifat yang dinyatakan esensial bagi suatu jaringan ART, yaitu:

1. Pengenalan p ola feature kntis. ART mampu menyatukan gagasan

dari konteks pola ke dalam proses penentuan apakah suatu feature

masukan tertentu adalah suatu sinyal atau hanya derau saja. Suatu

feature tertentu mungkin merupakan suatu sinyal suatu konteks ter-

tentu, dan merupakan derau dalam konteks yang lain. Pola feature

kritismeliputi unit komputasional dari proses mempelajari kode, danunit yang dipelajarimerupakan pola feature kritis.

2. Pencarian memori dengan penyesuaian sendiri (self-adjusting me-

mory search). Dengan adanya kemungkinan untuk berubah menjadi

suatu struktur kompleks acak dalam proses belajar yang kontinu,

adalah tidak mungkin untuk memakai suatu algoritma pencarian

yang telah ditentukan sebelumnya/predetermined yang senantiasa

merupakan yang paling efisien. Pencarian memori (memory search)dari suatu sistem ART seeara adaptif memperbarui urutan peneari-

annya untuk mempertahankan efisiensi.

3. Akses langsung kepada kode yang dipelajari. Dalam arsitektur ART,

dengan semakin akuratnya kode-kode yang dipelajari (secara pre-

diktif), mekanisme pencarian seeara otomatis dibebaskan. Dengan

demikian, event-event yang tidak menimbulkan ambigu dideteksi

dengan pesat. Jelasnya, waktu untuk pencarian dalam tree dan

algoritma serial lainnya meningkat dengan semakin besamya kode

pengenalan yang dipelajari.

4. Ungkungan sebagai pengajar. Meskipun sistem ART merepresenta-

sikan suatu paradigrna belajar tanpa pengawasan, Iingkungan dapat

mengatur proses pengajaran dengan mengubah parameter tingkat

kewaspadaan. Jadi, jika suatu pola masukan tertentu dianggap coeok

dengan suatu template tertentu tetapi Iingkungan menolaknya,

maka suatu faktor pengajar luar dapat meningkatkan faktor kewas-padaan dan menjamin bahwa ketidakeoeokan yang menyebabkan

kesalahan tadi tidak terjadi lagi.

Model ART paling coeok digunakan untuk belajar dan memberikan

respon dalam waktu nyata (real-time) terhadap suatu 'dunia' tak stasioner

dengan jumlah masukan tak terbatas hingga model tersebut memanfaatkan




seluruh kapasitas memorinya. Dalam sistem belajar dengan pengawasa(pengajar), proses belajar sering digerakkan oleh ketidakcocokan antar

keluaran yang diinginkan dan yang sebenamya/yang diperoleh. Intera

dengan pengajar memperlambat sistem. Faktor pengajar luar dibutuhka

bukan hanya untuk memberikan keluaran yang diinginkan sebagai perb

dingan dengan yang dihasilkan, tetapi juga untuk menghindarkan 'bencan

kapasitas' (capacity catastrophe) yang terjadi dalam sistem tanpa penstabi

an sendiri (non self-stabilizing) jika suatu arus masukan tanpa batas terja

dalam memori dan pelajaran sebelumnya terhapus. Untuk mencegah hal i

maka arus masukan harus dikurangi atau proses belajar harus dihentik

Pengajar menentukan kapan tindakan preventif tersebut harus dilakuk

Selanjutnya, dalam beberapa sistem belajar lainnya (misalnya simulate

annealing dan mesin Boltzmann) terdapat kemungkinan untuk terperan

kap dalam minimum lokal atau dalam solusi yang salah secara glob

Karena ART menggunakan kecocokan pendekatan (approximate matche

dan bukannya ketidakcocokan untuk meningkatkan belajamya dan melakkan proses ini tanpa adanya faktor pengajar luar dan faktor pengendali lu

seperti suhu, maka proses dapat terjadi secara stabil seiring dengan peng

manan (buffering) memori sistem terhadap derau ekstemal.

5.S Perbandingan antara Resonansi Adapti/ dan

Model Belajar Propagasi Balik

Perbedaan utama antara model ART dan model propagasi balik (bac

propagation - BP) adalah bahwa model ART mendemonstrasikan prose

belajar tanpa pengawasan, sedangkan model BP melakukan proses belaj

dengan pengajar. Sebagian besar literatur yang mereferensi model B

menekankan bahwa tingkat unit hidden yaitu F2 bertanggung jawab unt

mempelajari suatu peta asosiatif antara tingkat masukan Fl dan tingkkeluaran F3. Sifat terdistribusi dari peta ini memungkinkannya untu

menampung perubahan dalam lapis masukan dan mempengaruhi lapi

keluaran dengan tepat. Kritik dari Grossberg (1987a) terhadap model B

adalah bahwa cara model tersebut melakukan proses belajar membuatny

tidak coeok menjadi model dari otak. Argumen yang diberikan ialah bahw

pengorganisasian sendiri (self-organization) dari suatu peta asosiatif pad




Proses

belajar

pola

paralelr------'-----,

Proses

belajar kode

bottom-up 1Prosesbelajar

ekspentansi

top-down

Dlambil dar i Grossberg, S. (1967). ·Competit ive Learning: From Interact ive Activation to Adaptive Resonance,"Cognitive Science, 11,23-63. Dicefak ulang seijin Ablex Publishing Corporation.

Gambar 5.6 Arsitektur model ART.

dasamya dapat dicapai dengan suatu jaringan tiga tingkat. Gambar 5.6

merupakan suatu skernatik arsitektur model ART. Di sini, kedua tingkat

pertama mengatur proses belajar antara jalur bottom-up dan top-down-

nya, dan dengan begitu mengungkapkan kode dengan sifat invarian dalarnhimpunan pola masukan yang diberikan pada tingkat terendah. Aktivasi

kode ini pada F2 menyebabkan terjadinya proses belajar pola keluaran pada

F3 .

Skematik untuk arsitektur model propagasi batik pada Gambar 5.7

menunjukkan kompleksitasnya yang relatif lebih besar. Proses belajar secara

kasarnya berlangsung sebagai berikut. Masukan pada F, bergerak melalui F2

dan menghasilkan keluaran pada F3. Secara simultan, keluaran yang di-

inginkan diberikan sebagai masukan (oleh suatu faktor pengajar ekstemal)ke F4, di mana perbedaan antara keluaran yang diinginkan dan yang se-

benamya ini dikalikan dengan turunan dan keluaran yang dihasilkan, mem-

berikan suatu sinyal galat/error. Sinyal galat ini digunakan untuk mengubah

bobot pada jalur F2 - F3. Bobot ini kemudian diberikan kepada jalur top-

down F 4 - Fs untuk dikalikan dengan sinyai galat F 4 untuk membentuk sinyal




K e lua r a n

y a ng d ii ng in k an

Di f e r e n si a t or

D if e re n sia to r

F,

Diambll dari Grossberg, S. (1987). "Competit ive Learning: From Interactive Activation to Adaptive Resonance,"

Cognitive Science, 11, 23-63. Dicetak ulang seijin Ablex Publishing Corporation.

Gambar 5.7 Arsitektur model propagasi balik.

galat terbobot (weighted) pada Fs yang selanjutnya digunakan untuk men -

ubah bobot dalam jalur Fl - F2. Perhatikan bahwa perlunya keluar

dikonversikan ke turunannya pada tiap lapis [lni menyebabkan adanya lap s

F6 dan F7) menambah kompleksitas model secara keseluruhan. Selanjutny ,perhatikan bahwa seluruh proses ini diulang pada tiap tahapan unit hidd

dalam model SP.

Beberapa titik perbedaan kritis antara model ART dan BP adalah

1. Stabilitas dari kode yang dipelajari. Berbeda dengan sifat penst -

bilan-sendiri (self-stabilizing) dari kode yang dipelajari di dalam m -




del ART, dalam model BP tetjadi pengawasan terhadap keluaran

yang diinginkan yang diberikan oleh pengajar, sehingga dapat men-

jadi tak stabil dalam suatu lingkungan kompleks.

2. Ekspektasi sebagai prototip. Ketiadaan sifat penyekalaan-sendiri

(self-scaling) dalam model BP menyebabkan model tersebut tak

dapat mempengaruhi tingkat kepentingan dari tiap komponen yang

diharapkan jika berada di dalam keluaran yang diharapkan dengan

kompleksitas variabel. Karena itu model mernperlakukan tiap ek-

semplar sebagai prototip, bukannya mengungkapkan secara bertahap

sifat karakteristik invarian dari semua eksemplar yang diberikan

oleh pengajar dan dengan demikian membentuk suatu prototip.

Jelasnya, model ART dapat mgnungkapkan pola feature kritis.

3. Transpor bobot. Seperti dijelaskan di atas, jalur (bobot) LTM top-

down dalam model BP merupakan transpor formal dari jalur LTM

bottom-up yang dipeiajari, berlawanan dengan model ART di mana

bobot top-down dipelajari dengan suatu proses asosiatif waktu-nya-

ta dan bukannya hasil transpor dari bobot bottom-up.

4. Pencocokan untuk mengatur proses belajar. Aturan dua-pertiga

dalam model ART memungkinkan pemekaan subliminal terhadap

jaringan sebagai persiapan untuk suatu eksemplar dari suatu kelas

pola masukan yang diinginkan. Ini membantu mengatur proses

belajar yang diperlukan untuk menghasilkan suatu kode pengenalan

yang self-consistent. Meskipun demikian, dalam model BP, proses

pencocokan hanya mengubah bobot tanpa mempengaruhi pengo-

lahan informasi secara cepat yang menyertai tiap masukan.

5.9 Tinjauan Pustaka

Proses di mana suatu mekanisme kompetisi sederhana digunakan untuk

mengekstrak feature menonjol dalam suatu himpunan pola masukan diba-

has dalam Rumelhart (1985). Bahan dalam Sub bab 5.2 diambil dari sumber

ini, yang juga memberikan suatu pembahasan historis mengenai faktor-fak-

tor yang mendorong pengembangan mekanisme belajar kompetitif. Sedere-



tan hasil eksperimen memberikan gambaran yang berguna mengenai apl

kasi dari paradigma ini.

Unsker (1986) menggunakan pendekatan bahwa prinsip pengorg

sasian yang mengatur proses perseptual manusia seharusnya dapat di

hami tanpa perlu menunggu pengungkapan sejumlah detail eksperiment

Ia mengambil sebagai contoh suatu fakta bahwa pemahaman terhada

prinsip komputer mungkin dilakukan tanpa perlu mengerti cara kerja da .

tiap komponennya. Dengan patokan ini, kertas karyanya membahas evol .

sifat pengorganisasian sendiri (sel/-organization) dalam suatu jaringan belapis banyak di mana sel beroperasi berdasarkan suatu variasi dari atu

Hebb. Bahan dalam Sub bab 5.3 diambil dari sumber ini. Detail materna'

yang lebih jelas dapat diperoleh dari Unsker (1986).

Fukushima (1975), Fukushima (1980) dan Fukushima (1986) membe

kan lebih banyak detail matematik serta beberapa hasil eksperimen yan

berhubungan dengan kognitron dan neokognitron. Kertas karya ini merup

kan sumber bahan dalam Sub bab 5.4. Sub bab 5.5 hanya memberika

pengantar pada padracligma aktivasi Interaktif. Dasar-dasar model terseb

sebagaimana diberikan oleh McClelland dan Rumelhart dibahas dala

McClelland (1981). Artikel ini aclalah sumber dari bahan dalam Sub bab 5.

dan dapat digunakan untuk memperoleh detail eksperimen yang tela

digunakan untuk menguji paradigma tersebut. Perluasan selanjutnya da '

model aktivasi interaktif clapat diperoleh dalam Rumelhart (1982) yan

merupakan kelanjutan kertas karya tersebut.

Grossberg (1987a) memberikan suatu analisis komparatif terhadaparadigma-paradigma yang telah kita bahas dalam bab ini, dan juga sua

perbandingan dengan proses belajar dengan propagasi batik yang kita bah

dalam Bab 4. Kertas karya ini juga berisi suatu pembahasan mengen

paradigm a resonansi adaptif yang diusulkan sebagai suatu altematif penst

bilan terhadap metode belajar kompetitif. Pembahasan lebih dalam meng

nai ART dapat ditemukan dalam Carpenter (1988). Kertas-kertas karya i

merupakan sumber pembahasan dalam Sub bah 5.7 dan 5.8.


Bab5 Beberapa Model Belajar 3

Documents

Transcript of Bab5 Beberapa Model Belajar 3