eprintid: 32198
rev_number: 16
eprint_status: archive
userid: 12
dir: disk0/00/03/21/98
datestamp: 2026-07-17 01:54:38
lastmod: 2026-07-17 01:54:38
status_changed: 2026-07-17 01:54:38
type: thesis
metadata_visibility: show
creators_name: Vinanta, Aan Triya
creators_nim: 22.11.4880
contributors_name: Baita, Anna
corp_creators: Universitas AMIKOM Yogyakarta
title: PENGEMBANGAN CHATBOT HUKUM INDONESIA
BERBASIS RAG DENGAN EVALUASI KINERJA
RETRIEVAL DAN KONSISTENSI FAKTUAL
ispublished: pub
subjects: 000.000.000A
subjects: 000.000.004
divisions: if
full_text_status: restricted
keywords: RAG, Hukum Indonesia, Reranking, Faithfulness, LLM, Legal Chatbot.
abstract: Rendahnya pengetahuan hukum masyarakat Indonesia sering kali
menyebabkan kesulitan dalam mencari rujukan pasal yang tepat, yang berujung
pada keputusan keliru dan ketidakmerataan akses keadilan, sementara penggunaan
Large Language Model (LLM) murni berisiko tinggi menghasilkan halusinasi
tanpa sumber rujukan eksplisit. Penelitian ini bertujuan mengatasi permasalahan
tersebut dengan mengembangkan chatbot hukum menggunakan metode RetrievalAugmented

Generation (RAG) yang memproses delapan Undang-Undang utama
melalui teknik recursive chunking dan menyimpannya dalam Qdrant Vector
Database. Sistem menggabungkan pencarian semantik dan leksikal yang
disempurnakan dengan mekanisme reranking menggunakan model cross-encoder
ms-marco-MiniLM-L-6-v2, serta menghasilkan jawaban melalui model Gemini2.5
Flash.
Hasil
evaluasi
terhadap
42
kueri
gold
set
dari
Hukumonline
menunjukkan

nilai

Recall@k sebesar 0,619 dan Mean Reciprocal Rank (MRR) 0,351 yang
mengindikasikan efektivitas penempatan dokumen relevan pada peringkat awal,
serta skor faithfulness 0,478 yang mencerminkan tantangan penalaran pada kueri
alami. Kontribusi penelitian berupa rancangan pipeline RAG yang robust ini dapat
dimanfaatkan oleh masyarakat umum dan praktisi sebagai alat bantu verifikasi
hukum yang akurat untuk meminimalisir kesalahan interpretasi.
date: 2026-01-22
date_type: published
institution: Universitas AMIKOM Yogyakarta
department: Fakultas Ilmu Komputer
thesis_type: bachelor
thesis_name: skripsi
citation:   Vinanta, Aan Triya  (2026) PENGEMBANGAN CHATBOT HUKUM INDONESIA BERBASIS RAG DENGAN EVALUASI KINERJA RETRIEVAL DAN KONSISTENSI FAKTUAL.  S1 - Sarjana thesis, Universitas AMIKOM Yogyakarta.   
document_url: https://eprints.amikom.ac.id/id/eprint/32198/1/COVER.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/2/BAB%20I.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/3/BAB%20II.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/4/BAB%20III.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/5/BAB%20IV.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/6/BAB%20V.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/7/Daftar%20Pustaka%20dan%20Lampiran.pdf
document_url: https://eprints.amikom.ac.id/id/eprint/32198/8/Sourcecode%20-%2022.11.4880.zip
document_url: https://eprints.amikom.ac.id/id/eprint/32198/9/Publikasi.pdf