EVALUASI RELIABILITAS MODEL XGBOOST MENGGUNAKAN METODE HYBRID CALIBRATION ENSEMBLE PADA DATASET PEMASARAN BANK

Alkahfy, Hannif Nursukma (2026) EVALUASI RELIABILITAS MODEL XGBOOST MENGGUNAKAN METODE HYBRID CALIBRATION ENSEMBLE PADA DATASET PEMASARAN BANK. S1 - Sarjana thesis, Universitas AMIKOM Yogyakarta.

	Text (COVER - ABSTRAK) COVER.pdf - Published Version Download (1MB)
	Text (BAB I) BAB I.pdf - Published Version Download (208kB)
	Text (BAB II) BAB II.pdf - Published Version Restricted to Registered users only Download (800kB)
	Text (BAB III) BAB III.pdf - Published Version Restricted to Registered users only Download (390kB)
	Text (BAB IV) BAB IV.pdf - Published Version Restricted to Registered users only Download (1MB)
	Text (BAB V) BAB V.pdf - Published Version Download (71kB)
	Text (DAFTAR PUSTAKA) Daftar Pustaka.pdf - Published Version Restricted to Registered users only Download (123kB)
	Archive (SOURCE CODE) Sourcecode - 22.11.5110.zip Restricted to Repository staff only Download (799kB)
	Text (PUBLIKASI) Publikasi.pdf - Published Version Restricted to Repository staff only Download (902kB)

Abstract

Permasalahan utama dalam pemanfaatan algoritma machine learning pada bidang pemasaran bank adalah rendahnya reliabilitas probabilitas prediksi, khususnya pada dataset yang tidak seimbang. Model XGBoost yang umum digunakan cenderung menghasilkan probabilitas yang tidak merepresentasikan peluang kejadian aktual secara akurat atau mengalami miscalibration. Kondisi ini berdampak pada kualitas pengambilan keputusan berbasis risiko, seperti penentuan prioritas nasabah dalam kampanye pemasaran, yang berpotensi menimbulkan inefisiensi dan kesalahan strategi bisnis. Penelitian ini bertujuan untuk mengatasi permasalahan miscalibration tersebut melalui penerapan Hybrid Calibration Ensemble pada model XGBoost. Metode yang digunakan meliputi tahapan pra-pemrosesan data, pelatihan model XGBoost baseline, pemisahan data menjadi data pelatihan, kalibrasi, dan pengujian, serta penerapan metode kalibrasi Platt Scaling, Isotonic Regression, dan Beta Calibration. Selanjutnya, hasil dari masing-masing metode kalibrasi digabungkan dalam suatu skema ensemble untuk menghasilkan probabilitas akhir yang lebih reliabel. Evaluasi kinerja dilakukan menggunakan metrik Brier Score dan analisis reliability diagram. Hasil penelitian menunjukkan bahwa model XGBoost baseline mengalami miscalibration yang signifikan. Metode kalibrasi tunggal mampu memperbaiki reliabilitas probabilitas, namun peningkatannya masih terbatas. Hybrid Calibration Ensemble menghasilkan performa terbaik dengan nilai Brier Score terendah dan kurva reliability diagram yang paling mendekati garis ideal. Penelitian ini memberikan kontribusi dalam peningkatan kejujuran probabilitas model machine learning dan dapat dimanfaatkan oleh praktisi perbankan, analis data, serta pengambil keputusan dalam sistem pemasaran berbasis risiko. Penelitian selanjutnya dapat mengembangkan pendekatan ini pada skenario multi-kelas atau data dengan perubahan distribusi.

Actions (login required)

View Item