ANALISIS KINERJA MODEL SUPPORT VECTOR MACHINE DAN K-NEAREST NEIGHBORS DENGAN EKSTRAKSI FITUR WINNOWING PADA SISTEM AUTOMATED ESSAY SCORING

Luthfi, Muhammad Fahmi (2026) ANALISIS KINERJA MODEL SUPPORT VECTOR MACHINE DAN K-NEAREST NEIGHBORS DENGAN EKSTRAKSI FITUR WINNOWING PADA SISTEM AUTOMATED ESSAY SCORING. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS) 22.55.2296 - Muhammad Fahmi Luthfi.pdf - Published Version Download (3MB)

Abstract

Penelitian ini berjudul “Analisis Kinerja Model Support Vector Machine Dan K-Nearest Neighbors Dengan Ekstraksi Fitur Winnowing Pada Sistem Penilaian Esai Otomatis” yang bertujuan untuk mengukur dan membandingkan performa kombinasi metode ekstraksi fitur Winnowing dengan algoritma klasifikasi Support Vector Machine (SVM) dan K-Nearest Neighbors (KNN) dalam penilaian esai otomatis berbasis teks. Penelitian ini menggunakan pendekatan kuantitatif dengan jenis penelitian eksperimental. Dataset yang digunakan adalah Automated Student Assessment Prize (ASAP) Automated Essay Scoring (AES) dari Kaggle yang terdiri atas 12.976 jawaban tertulis siswa berbahasa Inggris terhadap prompt ujian, yang dalam konteks sistem pendidikan Amerika Serikat disebut sebagai essay. Tahapan penelitian meliputi preprocessing teks (pembersihan, tokenisasi, dan stemming), ekstraksi fitur menggunakan Winnowing dengan teknik k-gram dan fingerprinting, serta klasifikasi menggunakan algoritma SVM dan KNN. Analisis kinerja dilakukan berdasarkan metrik akurasi, presisi, recall, F1-Score, dan waktu komputasi. Hasil penelitian menunjukkan bahwa kombinasi SVM dengan fitur hasil ekstraksi Winnowing menghasilkan performa yang lebih baik dibandingkan KNN dengan fitur hasil ekstraksi Winnowing, dengan akurasi sebesar 87,6%, F1-Score 0,868, dan precision 0,891. Meskipun SVM memerlukan waktu komputasi lebih lama (5,18 detik) dibandingkan KNN (0,07 detik), model SVM terbukti lebih akurat dan stabil dalam mengklasifikasikan skor esai. Kesimpulannya, algoritma SVM lebih direkomendasikan untuk sistem penilaian esai otomatis yang mengutamakan akurasi, sementara KNN cocok untuk aplikasi yang membutuhkan efisiensi waktu. Penelitian selanjutnya disarankan untuk mengeksplorasi metode ekstraksi fitur lain dan optimasi parameter model guna meningkatkan performa sistem secara keseluruhan.

Actions (login required)

View Item