eprintid: 33200 rev_number: 7 eprint_status: archive userid: 12 dir: disk0/00/03/32/00 datestamp: 2026-11-13 07:20:00 lastmod: 2026-11-13 07:20:00 status_changed: 2026-11-13 07:20:00 type: thesis metadata_visibility: show creators_name: -, Mujiyanto creators_nim: 23.99.1003 contributors_name: Setyanto, Arief corp_creators: Universitas AMIKOM Yogyakarta title: MODEL PENGENALAN EKSPRESI WAJAH TEROKLUSI BERBASIS SWIN TRANSFORMER MELALUI PAIRED CLEAN-ANCHOR CONSISTENCY ispublished: pub subjects: 000.000.000A divisions: 99 full_text_status: restricted keywords: pengenalan ekspresi wajah, oklusi wajah, AffectSyn, pembelajaran oklusi berpasangan, Paired Clean-Anchor Consistency, facial expression recognition, facial occlusion, paired occlusion learning. abstract: Penelitian ini mengembangkan protokol rekayasa dataset oklusi berpasangan dan metode pembelajaran Paired Clean-Anchor Consistency (PCAC) untuk Facial Expression Recognition (FER) berbasis Swin Transformer. Tujuannya adalah menguji pengenalan delapan kelas ekspresi ketika masker, hijab, atau keduanya menutup petunjuk wajah. Lingkup penelitian terbatas pada ekspresi yang tampak, bukan emosi batin atau keputusan klinis dan ketenagakerjaan. Kontribusi utama penelitian adalah protokol rekayasa dataset oklusi berpasangan berbasis source family yang mengintegrasikan kurasi clean anchor, pembentukan oklusi hibrida, pewarisan label, pemeriksaan kualitas, provenance, dan audit kebocoran. AffectSyn merupakan instansiasi protokol tersebut, terdiri atas 13.586 source family dan 41.066 citra pada domain clean, masker, hijab, dan masker-hijab dengan ketersediaan tampilan yang tidak seragam. Kontribusi pendukung pada rekayasa model dan proses adalah PCAC beserta kontrol exposure-matched lambda=0, yang memisahkan pengaruh fungsi konsistensi dari manfaat paparan pasangan. Evaluasi menggunakan tiga random seed, kohort nyata, benchmark AffectNet dan RAF-DB, bootstrap berpasangan atau berklaster subjek, interval kepercayaan 95%, dan koreksi Holm. Pada AffectSyn, PCAC mengurangi clean-to-occluded macro-F1 gap dari 0,03444 menjadi 0,01623 atau 52,9%. Pada kohort nyata 1.600 citra dari 100 subjek, sistem data semantik meningkatkan macro-F1 sebesar 0,0288 dibandingkan oklusi naif, sedangkan PCAC meningkatkan macro-F1 sebesar 0,0295 dibandingkan kontrol exposure-matched lambda=0; keduanya lolos koreksi Holm (p<0,001). Dalam transfer zero-shot, PCAC-Swin-T mencapai accuracy 70,95% pada RAF-DB clean dan 65,26% pada Occlusion-RAF-735. Sistem data semantik berarah positif pada empat papan, meskipun kontras publik tidak seluruhnya bertahan setelah koreksi pengujian jamak. Pengujian FMAE-L menemukan negative transfer pada adaptasi kepala. Dalam protokol Swin-T dan konfigurasi eksperimen ini, sistem data semantik AffectSyn menunjukkan manfaat pada FER teroklusi nyata, sedangkan efek intervensi PCAC didukung oleh perbandingan terhadap kontrol exposurematched lambda=0. Hasil lintas-backbone menunjukkan bahwa manfaat tersebut bergantung pada domain, backbone, dan pretraining. Secara hierarkis, kontribusi utama disertasi adalah protokol rekayasa dataset; AffectSyn merupakan instrumen hasil protokol tersebut; sedangkan PCAC, kontrol paparan, dan evaluasi lintasdomain merupakan kontribusi pendukung. Hasil tidak menyatakan efek universal pada seluruh backbone, proses pelatihan, domain, atau jenis oklusi. date: 2026-08-14 date_type: published institution: Universitas AMIKOM Yogyakarta department: Fakultas Ilmu Komputer thesis_type: doctoral thesis_name: disertasi citation: -, Mujiyanto (2026) MODEL PENGENALAN EKSPRESI WAJAH TEROKLUSI BERBASIS SWIN TRANSFORMER MELALUI PAIRED CLEAN-ANCHOR CONSISTENCY. S3 - Doktor thesis, Universitas AMIKOM Yogyakarta. document_url: https://eprints.amikom.ac.id/id/eprint/33200/1/23.99.1003%20-%20Mujiyanto.pdf