EPrints Universitas Amikom YogyakartaMODEL PENGENALAN EKSPRESI WAJAH TEROKLUSI BERBASIS SWIN TRANSFORMER MELALUI PAIRED CLEAN-ANCHOR CONSISTENCYMujiyanto-authorPenelitian ini mengembangkan protokol rekayasa dataset oklusi berpasangan dan metode pembelajaran Paired Clean-Anchor Consistency (PCAC) untuk Facial Expression Recognition (FER) berbasis Swin Transformer. Tujuannya adalah menguji pengenalan delapan kelas ekspresi ketika masker, hijab, atau keduanya menutup petunjuk wajah. Lingkup penelitian terbatas pada ekspresi yang tampak, bukan emosi batin atau keputusan klinis dan ketenagakerjaan. Kontribusi utama penelitian adalah protokol rekayasa dataset oklusi berpasangan berbasis source family yang mengintegrasikan kurasi clean anchor, pembentukan oklusi hibrida, pewarisan label, pemeriksaan kualitas, provenance, dan audit kebocoran. AffectSyn merupakan instansiasi protokol tersebut, terdiri atas 13.586 source family dan 41.066 citra pada domain clean, masker, hijab, dan masker-hijab dengan ketersediaan tampilan yang tidak seragam. Kontribusi pendukung pada rekayasa model dan proses adalah PCAC beserta kontrol exposure-matched lambda=0, yang memisahkan pengaruh fungsi konsistensi dari manfaat paparan pasangan. Evaluasi menggunakan tiga random seed, kohort nyata, benchmark AffectNet dan RAF-DB, bootstrap berpasangan atau berklaster subjek, interval kepercayaan 95%, dan koreksi Holm. Pada AffectSyn, PCAC mengurangi clean-to-occluded macro-F1 gap dari 0,03444 menjadi 0,01623 atau 52,9%. Pada kohort nyata 1.600 citra dari 100 subjek, sistem data semantik meningkatkan macro-F1 sebesar 0,0288 dibandingkan oklusi naif, sedangkan PCAC meningkatkan macro-F1 sebesar 0,0295 dibandingkan kontrol exposure-matched lambda=0; keduanya lolos koreksi Holm (p<0,001). Dalam transfer zero-shot, PCAC-Swin-T mencapai accuracy 70,95% pada RAF-DB clean dan 65,26% pada Occlusion-RAF-735. Sistem data semantik berarah positif pada empat papan, meskipun kontras publik tidak seluruhnya bertahan setelah koreksi pengujian jamak. Pengujian FMAE-L menemukan negative transfer pada adaptasi kepala. Dalam protokol Swin-T dan konfigurasi eksperimen ini, sistem data semantik AffectSyn menunjukkan manfaat pada FER teroklusi nyata, sedangkan efek intervensi PCAC didukung oleh perbandingan terhadap kontrol exposurematched lambda=0. Hasil lintas-backbone menunjukkan bahwa manfaat tersebut bergantung pada domain, backbone, dan pretraining. Secara hierarkis, kontribusi utama disertasi adalah protokol rekayasa dataset; AffectSyn merupakan instrumen hasil protokol tersebut; sedangkan PCAC, kontrol paparan, dan evaluasi lintasdomain merupakan kontribusi pendukung. Hasil tidak menyatakan efek universal pada seluruh backbone, proses pelatihan, domain, atau jenis oklusi.000 Ilmu komputer, informasi dan pekerjaan umum2026-08-14Universitas AMIKOM Yogyakarta;Fakultas Ilmu KomputerThesis

For work being deposited by its own author: In self-archiving this collection of files and associated bibliographic metadata, I grant EPrints Universitas Amikom Yogyakarta the right to store them and to make them permanently available publicly for free on-line. I declare that this material is my own intellectual property and I understand that EPrints Universitas Amikom Yogyakarta does not assume any responsibility if there is any breach of copyright in distributing these files or metadata. (All authors are urged to prominently assert their copyright on the title page of their work.)

For work being deposited by someone other than its author: I hereby declare that the collection of files and associated bibliographic metadata that I am archiving at EPrints Universitas Amikom Yogyakarta) is in the public domain. If this is not the case, I accept full responsibility for any breach of copyright that distributing these files or metadata may entail.

Clicking on the deposit button indicates your agreement to these terms.