@phdthesis{universitasamikomyogyakarta32198,
           month = {January},
           title = {PENGEMBANGAN CHATBOT HUKUM INDONESIA
BERBASIS RAG DENGAN EVALUASI KINERJA
RETRIEVAL DAN KONSISTENSI FAKTUAL},
          school = {Universitas AMIKOM Yogyakarta},
            year = {2026},
          author = {Aan Triya Vinanta},
        keywords = {RAG, Hukum Indonesia, Reranking, Faithfulness, LLM, Legal Chatbot.},
             url = {https://eprints.amikom.ac.id/id/eprint/32198/},
        abstract = {Rendahnya pengetahuan hukum masyarakat Indonesia sering kali
menyebabkan kesulitan dalam mencari rujukan pasal yang tepat, yang berujung
pada keputusan keliru dan ketidakmerataan akses keadilan, sementara penggunaan
Large Language Model (LLM) murni berisiko tinggi menghasilkan halusinasi
tanpa sumber rujukan eksplisit. Penelitian ini bertujuan mengatasi permasalahan
tersebut dengan mengembangkan chatbot hukum menggunakan metode RetrievalAugmented

Generation (RAG) yang memproses delapan Undang-Undang utama
melalui teknik recursive chunking dan menyimpannya dalam Qdrant Vector
Database. Sistem menggabungkan pencarian semantik dan leksikal yang
disempurnakan dengan mekanisme reranking menggunakan model cross-encoder
ms-marco-MiniLM-L-6-v2, serta menghasilkan jawaban melalui model Gemini2.5
Flash.
Hasil
evaluasi
terhadap
42
kueri
gold
set
dari
Hukumonline
menunjukkan

nilai

Recall@k sebesar 0,619 dan Mean Reciprocal Rank (MRR) 0,351 yang
mengindikasikan efektivitas penempatan dokumen relevan pada peringkat awal,
serta skor faithfulness 0,478 yang mencerminkan tantangan penalaran pada kueri
alami. Kontribusi penelitian berupa rancangan pipeline RAG yang robust ini dapat
dimanfaatkan oleh masyarakat umum dan praktisi sebagai alat bantu verifikasi
hukum yang akurat untuk meminimalisir kesalahan interpretasi.}
}