EVALUASI KINERJA PENGKLASIFIKASIAN PEMBELAJARAN MESIN MENGGUNAKAN METODE EKSTRAKSI FITUR PADA DATA TWITTER

Sugiarto, Dedy (2022) EVALUASI KINERJA PENGKLASIFIKASIAN PEMBELAJARAN MESIN MENGGUNAKAN METODE EKSTRAKSI FITUR PADA DATA TWITTER. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS) 20.55.1383 Dedy Sugiarto.pdf Download (3MB)

Abstract

Walaupun analisis sentimen atau penambangan opini saat ini merupakan topik yang paling aktif diteliti di bidang pemrosesan bahasa alami, namun belum banyak digunakan di sektor pertanian. Oleh karena itu dilakukan penelitian terkait evaluasi kinerja hasil klasifikasi sentimen menggunakan data twitter terkait bidang pertanian serta melihat kemampuan ekstraksi fitur Word2Vec dalam menangkap hubungan semantik dilihat berdasarkan arsitektur model dan dimensi vector yang digunakan.. Kasus yang diangkat adalah mengenai gejolak harga minyak goreng yang terjadi di Indonesia pada tahun 2022. Dataset twitter pertama diambil menggunakan batasan waktu 21-25 Maret 2022 dengan kata kunci minyak goreng. Pada periode itu adalah berlangsungnya kebijakan pemerintah menghapus Harga Eceran Tertinggi (HET) dimulai 16 Maret 2022. Dataset kedua terkait kebijakan Bantuan Langsung Tunai (BLT) minyak goreng sebagai dampak kenaikan harga minyak goreng yang diberikan mulai April 2022. Hasil penelitian menunjukkan bahwa rata-rata nilai akurasi dan F1-score pada model skip-gram (SG) cenderung lebih tinggi dibandingkan dengan model continuoes bag of word (CBOW) pada data HET yang memiliki ukuran data 12408. Nilai rata-rata akurasi pada model CBOW sebesar 0.675 dan SG 0,700 sedangkan rata-rata F1-score pada CBOW sebesar 0.6375 dan SG 0,6550. Berdasarkan pemeriksaan model akurasi dan loss dapat diketahui bahwa model bidirectional long-short term memory (BLSTM) dengan SG 50D menunjukkan pola data latih dan data tes yang lebih mirip serta nilai akurasi 0.7 dan F1-Score 0.67. Hasil pemerikaan pada dimensi yang lebih tinggi menunjukkan adanya gejala overfitting. Nilai f1-score dan akurasi tertinggi dengan menggunakan data BLT didapatkan pada model logistic regression – bag of word (LR-BOW) dengan nilai berturut-turut sebesar 0.68 dan 0.75 disusul oleh logistic regression – term frequency inverse document frequency (LR – TF-IDF) dan support vector machine – bag of word (SVM-BOW). Model Word2Vec telah berhasil menangkap makna kata yang yang terkandung dalam data HET seperti kata 'mafia' memiliki nilai cosine similarity yang cukup tinggi dengan kata ‘kartel’, bongkar’, ‘tangkap’, ‘oligarki’ dan ‘mendag’. Hal ini perlu menjadi perhatian pemerintah untuk menangani harga minyak goreng. Nilak kemiripan dari pasangan kata akan semakin menurun dengan semakin besarnya nilai dimensi vector.

Actions (login required)

View Item