🌐Dasar Teori: Perceptron

Perceptron

Apa itu Perceptron?

Algoritma Perceptron adalah jenis Artificial Neural Network (ANN) yang paling sederhana. Nama lain percepton adalah Single-Layer Neural Network, FeedForward Network. Perceptron merupakan model neuron tunggal yang dapat digunakan untuk binary classification dan juga dasar untuk mengembangkan “network” yang jauh lebih besar. Perceptron biasanya digunakan untuk mengklasifikasikan suatu tipe pola tertentu yang sering dikenal dengan pemisahan secara linear. Pada dasarnya, perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang bisa diatur dan suatu nilai ambang (threshold).

Perceptron pertama kali diciptakan oleh Frank Rosenblatt pada akhir tahun 1950-an. Hal yang mendasari penciptaan perceptron adalah mengadopsi kemampuan otak manusia. Misalkan dalam proses penglihatan, maka apa yang kita lihat adalah data. Data itu kemudian diproses oleh saraf dan dikirim ke otak. Otak kemudian mengenali data tersebut berdasarkan karakteristik hal-hal yang terlihat. Otak terdiri dari sel-sel yang disebut neuron yang berfungsi untuk memproses informasi, Koneksi antar neuron disebut sinapsis, dimana sinapsis berfungsi untuk melakukan transmisi informasi. Otak manusia diperkirakan terdiri dari 100 miliar neuron dan 100 triliun sinapsis. Komponen utama neuron adalah,

• Dendrit --> menerima sinyal listrik dari neuron lain

• Body --> memproses sinyal

• Akson --> mengirimkan sinyal ke neuron lain

Pada algoritma perceptron komponen utaman neuron diadopsi seperti pada Gambar 1. Neuron individu dapat dianggap sebagai unit komputasi yang memproses satu atau lebih input untuk menghasilkan output. Fungsi perceptron analog dengan neuron. Perceptron menerima satu atau lebih data masukan, kemudian memprosesnya, dan mengembalikan output.

Gambar 1. Ilustrasi Perceptron (Credit: Sagar Sharma via Medium)

Perceptron bisa dibagi menjadi empat bagian dasar: input, bobot, dan bias, weighted sum, dan fungsi aktivasi. Input adalah data masukan dari perceptron tersebut. Bobot dan bias merepresentasikan tingkat signifikansi dari tiap input. Input yang telah dikalikan bobot dan ditambah bias dijumlah menjadi Weighted Sum. Hasilnya akan menjadi parameter dari fungsi aktivasi. Fungsi aktivasi ini yang mementukan hasil output dari perceptron tersebut.

Input

Input dari sebuah perceptron adalah bahan baku yang akan diolah perceptron.

Bobot dan Bias

Pada sebuah Perceptron, tidak semua input memiliki signifikansi yang sama. Karena itu, input diberi bobot dan bias yang berbeda untuk menentukan seberapa penting input ini berpengaruh terhadap output yang diinginkan. Bobot akan diupdate secara otomatis melalui banyak algoritma pembelajaran pada saat proses pelatihan.

Weighted Sum

Masing-masing input akan dikalikan bobot masing-masing dan ditambah bias. Hasilnya akan dijumlah semua menjadi weighted sum. Angka ini nantinya akan menjadi parameter untuk fungsi aktivasi. Persamaannya adalah,

$$\sum_{n=1}^{n}(x_n w_n)+b$$

Dengan $x_n$ adalah input ke-$n$ yang memiliki bobot $w_n$ dan bias $b$

Fungsi Aktivasi

Hasil dari weighted sum akan menjadi parameter dari sebuah fungsi aktifasi. Fungsi inilah yang menentukan hasil dari perceptron tersebut. Output dari fungsi ini bisa menjadi input dari perceptron lain atau menjadi output dari ANN secara keseluruhan. Perceptron mengklasifikasikan instance dengan memproses kombinasi linier fitur dan parameter model menggunakan fungsi aktivasi. Ada banyak jenis fungsi aktivasi, masing-masing memiliki kegunaan dan fungsi sendiri-sendiri. Gambar 2 merupakan contoh fungsi aktivasi dan persamaannya, yang biasa digunakan dalam arsitektur ANN.

Gambar 2. Contoh Fungsi Aktivasi (Credit: Sagar Shamara via Medium)

Fungsi aktivasi dibuat sedemikian rupa sehingga terjadi pembatasan antara daerah positif dan negatif. Gambar 3 merupakan ilustrasi penggambaran daerah pelabelan pada ANN.

Gambar 3. Daerah Positif dan Negatif pada ANN

• Garis pemisah antara daerah positif dan daerah nol memiliki nilai $w_1x_1+w_2x_2+b>q$

• Sedangkan garis pemisah antara daerah negatif dengan daerah nol

  memiliki nilai $w_1x_1+w_2x_2+b<-q$

Algoritma Perceptron

Algoritma perceptron dimulai dengan menetapkan bobot awal ke nol, atau ke nilai acak kecil. Kemudian memprediksi kelas untuk instance data training. Perceptron adalah algoritma pembelajaran yang digerakkan oleh error: Jika prediksinya benar, algoritma melanjutkan ke instance berikutnya. Jika prediksi salah, algoritma akan memperbarui bobot.

Tahapan Algoritma Perceptron

Input --> sekumpulan data dengan fitur / variable $x$ dan variable $y$, misal $(x_1y_1),(x_2y_2),(x_3y_3)...(x_n,y_n)$

Output --> sebuah perceptron didefinisikan oleh nilai $w_1,w_2,w_3,...w_d$

Langkah-langkah

1. Menentukan bobot, seringkali bobot $(w)$ diberikan nilai awal 0, atau $w=0$. Tentukan juga

   nilai awal bias $(b)$ biasanya diberi nilai awal 1 atau $b=1$

2. Tentukan nilai learning rate $(\alpha)$. Nilai $(\alpha)$ merupakan nilai yang ditentukan untuk memperharui bobot setiap iterasi atau epoch pada ANN secara umum. Nilai yang diberikan berisar antara $0<\alpha<=1$.

3. Selama masih terdapat kondisi false dalam artian belum tercapainya convergen,

   lakukan langkah-langkah sebagai berikut ini,

   1. Untuk setiap sampel $x_i$ untuk semua $i$ --> $i=1...n$.

   2. Hitung respon untuk unit output dengan menggunakan weighted sum dan

      fungsi aktivasi.

   3. Bandingkan hasil output(y) dengan nilai actual kelas(d), jika output tidak

      sesuai dengan nilai actual kelas maka dianggap error. Perbaiki bobot jika terjadi error dengan cara perbahuri bobot menggunakan persamaan, $w_i(t+1)=w_i(t)+\alpha(d_j-y_j(t))x_{j,i}$ untuk semua fitur $0<=i<=n$ Dimana, $d_j$ --> Kelas aktual untuk data instance $j$. $y_j$ --> Kelas hasil prediksi untuk data instance $j$. $x_{j,i}$ --> Nilai fitur ke-$i$ untuk data instance $j$. $\alpha$ --> Hyperparameter learning rate. $\alpha(d_j-y_j(t))x_{j,i}$ --> faktor kenaikan nilai paramter untuk setiap fitur. Kembali ke step sub 1.

   4. Algoritma pembelajaran telah convergen ketika menyelesaikan 1 kali epoch tanpa

      adanya kesalahan output prediksi.

Contoh Kasus Sederhana

Dataset yang digunakan adalah dataset untuk permasalahan klasifikasi. Misalkan ingin memisahkan kucing dewasa (adult) dari anak kucing(kitten). Diberikan dua variabel penjelas (x) yang tersedia dalam kumpulan data: proporsi hari saat hewan tertidur dan proporsi hari saat hewan itu menggerutu. Data pelatihan terdiri dari empat instances berikut,

Tabel 1. Dataset Kitten

Berdasarkan Tabel 1 maka kelas kitten akan menjadi kelas positif (1) dan kelas adult akan menjadi kelas negative (0). Algoritma perceptron pada kasus ini memiliki tiga buah input yaitu $x_1$ untuk bias, $x_2$ untuk fitur proportion of the day spent sleeping dan $x_3$ untuk fitur proportion of the day being grumpy. Fungsi aktivasi yang digunakan pada contoh ini adalah unit step yaitu dengan persamaan sebagai berikut,

g(x)=\left\{ \begin{array}{ll} 1, & \mbox{if $x>0$}.\\ 0, & \mbox{otherwise}. \end{array} \right.

Epoch 1

Diberikan bobot $w=0$, $bias=1$, dan $\alpha=1$

Hasilnya,

Pada epoch 1 terjadi dua kali perbaikan bobot yaitu pada iterasi 1 dan pada iterasi 4. Perbaikan bobot terjadi karena adanya misclassification yaitu prediksi klasifikasi yang tidak sesuai dengan data aktual / variable target. Pada epoch 1 algoritma pembelajaran belum mencapai convergen sehingga dilanjutkan ke epoch 2.

Epoch 2

Hasil,

Pada epoch 2 terjadi dua kali perbaikan bobot yaitu pada iterasi 1 dan pada iterasi 4. Perbaikan bobot terjadi karena adanya misclassification yaitu prediksi klasifikasi yang tidak sesuai dengan aktual data / variable target. Pada epoch 2 algoritma pembelajaran belum mencapai convergen sehingga dilanjutkan ke epoch 3.

Lanjutkan pelatihan sampai mencapai convergen yaitu dimana pada keseluruhan data pelatihan / data training hasil prediksi memiliki nilai yang sama dengan data aktual / variable target. Pada contoh kasus diatas convergen akan dicapai pada epoch 6. Hasil yang didapatkan ditunjukkan pada tabel Tabel 2.

Visualisasi decision boundary mulai dari epoch dapat dilihat pada Gambar 4.

Gambar 4. Decision Boundary Kasus Kitten