PENINGKATAN AKURASI PADA SLOWFAST NETWORK MENGGUNAKAN MULTI-HEAD SELF ATTENTION LAYER

Reza, Muhammad (2025) PENINGKATAN AKURASI PADA SLOWFAST NETWORK MENGGUNAKAN MULTI-HEAD SELF ATTENTION LAYER. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS)
23.55.2507 Muhammad Reza.pdf - Published Version
Download (3MB)

Abstract

Kecelakaan lalu lintas akibat kelelahan pengemudi merupakan masalah keselamatan global yang memerlukan solusi deteksi dini yang akurat. Penelitian ini bertujuan untuk meningkatkan kinerja sistem deteksi kantuk berbasis video menggunakan arsitektur SlowFast Network yang diintegrasikan dengan mekanisme Multi-Head Self Attention (MHSA). Penelitian eksperimental ini menggunakan pendekatan kuantitatif dengan menggabungkan dataset SUST-DDD dan NITYMED guna mencakup variasi kondisi pencahayaan siang dan malam hari. Metode pengembangan model melibatkan pra-pemrosesan data menggunakan teknik sliding window berdurasi 2 detik, normalisasi, dan augmentasi data, serta divalidasi menggunakan analisis visual Grad-CAM untuk mengukur efektivitas fokus atensi model. Hasil penelitian menunjukkan bahwa integrasi MHSA secara signifikan meningkatkan kemampuan model dalam menangkap fitur spasial-temporal yang kritis. Model final berhasil mencapai akurasi sebesar 96,65% pada data uji gabungan, dengan nilai Recall untuk kelas drowsy mencapai 99%. Capaian ini mengungguli model baseline tanpa atensi yang hanya mencapai akurasi 84,48% pada pengujian sejenis. Analisis visual membuktikan bahwa mekanisme atensi berhasil memfokuskan pembelajaran model pada area wajah yang relevan, seperti mata dan mulut, serta secara efektif melakukan supresi terhadap gangguan visual dari latar belakang maupun kondisi minim cahaya. Dapat disimpulkan bahwa kombinasi arsitektur SlowFast dengan MHSA serta penggunaan dataset yang bervariasi mampu menghasilkan model deteksi kantuk yang handal (robust) dan memiliki generalisasi tinggi. Sistem ini terbukti efektif dalam mengenali tanda-tanda kantuk baik yang bersifat halus maupun eksplisit dalam berbagai kondisi lingkungan.

Item Type:

Thesis (S2 - Magister)

Contributor: