PEMODELAN PERCAKAPAN BAHASA BANJAR MENGGUNAKAN ARSITEKTUR SEQ2SEQ DENGAN MEKANISME ATENSI

Setiawan, Bambang Abdi (2022) PEMODELAN PERCAKAPAN BAHASA BANJAR MENGGUNAKAN ARSITEKTUR SEQ2SEQ DENGAN MEKANISME ATENSI. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS)
20.77.1278 Bambang Abdi Setiawan.pdf
Download (4MB)

Abstract

Perkembangan teknologi chatbot secara signifikan dimulai dengan implementasi model Seq2Seq (Sequence-to-Sequence) yang berbasis pada dua arsitektur RNN (Recurrent Neural Network). Model Seq2Seq terbukti mampu menangani masalah vanishing atau exploding gradient yang terjadi saat melakukan training jangka panjang pada arsitektur vanilla RNN. Penggunaan variasi unit gerbang LSTM (Long-Short Term Memory) dan GRU (Gated Recurrent Unit) pada lapisan encoder-decoder dengan menambahkan mekanisme atensi dan optimasi gradien dapat menangani data dengan urutan yang panjang dan meminimalkan tingkat kesalahan. Dataset yang digunakan adalah percakapan Bahasa Banjar dengan dialek campuran yang diperoleh dari database sistem live support pada kampus XYZ yang terdiri dari 6.100 baris pasang percakapan setelah melalui tahapan preprocessing. Pemrosesan dataset diatur dengan komposisi 80% data training dan 20% data testing. Pengujian performansi model diperoleh dengan memperhitungkan nilai loss dan confusion matrix berdasarkan pengaturan parameter berupa optimasi gradien Adam, learning rate 0.001, epoch 400, batch size 64 dan 128, dropout 0.5 dan 0.8. Hasil terbaik diperoleh oleh model LSTM-GRU pada epoch ke-50 menggunakan parameter batch size 128 dan dropout 0.8. Model ini mendapatkan nilai loss sebesar 2.9955, accuracy 61.53%, precision 89.11%, recall 54.61%, F1 67.04% dengan durasi testing selama 15.50 detik. Penggunaan mekanisme atensi yang diterapkan pada arsitektur Seq2Seq dengan pengaturan nilai dropout dan batch size yang sesuai dapat menurunkan overfitting dan meningkatkan kinerja model.

Item Type:

Thesis (S2 - Magister)

Contributor: