PENERAPAN DAN EVALUASI MODEL MACHINE LEARNING TERLATIH ANTAR DOMAIN PADA ANALISIS SENTIMEN ULASAN APLIKASI KEUANGAN DIGITAL

Rama, Ashari (2025) PENERAPAN DAN EVALUASI MODEL MACHINE LEARNING TERLATIH ANTAR DOMAIN PADA ANALISIS SENTIMEN ULASAN APLIKASI KEUANGAN DIGITAL. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS)
23.55.1410 - Rama Ashari.pdf - Published Version
Download (5MB)

Abstract

Penelitian ini mengevaluasi model machine learning (SVM, ANN, dan LSTM) untuk analisis sentimen lintas domain (cross-domain) pada ulasan aplikasi keuangan digital Livin' by Mandiri. Tujuan penelitian adalah (1) membandingkan performa model sebelum dan sesudah hyperparameter tuning pada dataset publik , (2) mengukur kemampuan generalisasi model dari dataset publik ke dataset spesifik Livin' by Mandiri , dan (3) menentukan model yang paling andal. Metode penelitian menggunakan supervised learning yang mencakup preprocessing teks, pembobotan kata FastText , penanganan data tidak seimbang menggunakan SMOTE , dan hyperparameter tuning. Hasil penelitian pada dataset publik menunjukkan hyperparameter tuning berhasil meningkatkan akurasi ketiga model hingga di atas 94%. LSTM (Tuned) mencapai akurasi tertinggi (0.9422) , namun analisis statistik menunjukkan tidak ada perbedaan performa yang signifikan (p-value > 0.05) di antara ketiga model. Saat model publik diuji pada data Livin', terjadi penurunan performa drastis (akurasi 39-42%) , yang membuktikan adanya masalah domain shift parah. Sebaliknya, saat model dilatih secara langsung pada dataset Livin', model ANN (Artificial Neural Network) menunjukkan performa terbaik dengan akurasi 91.21% , mengungguli LSTM (90.89%) , SVM (86.35%) , dan penelitian terdahulu. Kesimpulannya, hyperparameter tuning krusial untuk data publik, namun ketiga model memiliki performa yang setara. Model yang dilatih pada data publik gagal digeneralisasi ke domain spesifik. Untuk domain aplikasi Livin' by Mandiri, ANN terbukti menjadi model yang paling optimal dan unggul secara signifikan.

Item Type:

Thesis (S2 - Magister)

Contributor: