RINGKASAN TEKS MENGGUNAKAN GENERATIVE PRETRAINED TRANSFORMER 2

Khasanah, Aini Nur (2023) RINGKASAN TEKS MENGGUNAKAN GENERATIVE PRETRAINED TRANSFORMER 2. S1 - Sarjana thesis, Universitas AMIKOM Yogyakarta.

	Text (COVER-ABSTRAK) COVER.pdf Download (658kB)
	Text (BAB I) BAB I.pdf Download (123kB)
	Text (BAB II) BAB II.pdf Restricted to Registered users only Download (438kB)
	Text (BAB III) BAB III.pdf Restricted to Registered users only Download (154kB)
	Text (BAB IV) BAB IV.pdf Restricted to Registered users only Download (176kB)
	Text (BAB V) BAB V.pdf Download (71kB)
	Text (DAFTAR PUSTAKA-LAMPIRAN) Daftar Pustaka dan Lampiran.pdf Restricted to Registered users only Download (189kB)
	Other (SOURCE CODE) Source Code 19.11.259 Aini Nur Khasanah.rar Restricted to Repository staff only Download (39kB)
	Text (PUBLIKASI) Publikasi 19.11.2595 Aini Nur Khasanah.pdf Restricted to Repository staff only Download (520kB)

Abstract

Peringkasan teks otomatis adalah salah satu masalah yang dihadapi dalam bidang Pemrosesan Bahasa Alami (NLP), yang bertujuan untuk mengidentifikasi dan menyajikan informasi penting dari teks yang panjang secara cepat dan akurat. Ada dua pendekatan utama yang digunakan dalam proses peringkasan teks, yaitu peringkasan abstraktif dan peringkasan ekstraktif. Peringkasan abstraktif lebih sulit dilakukan karena tingkat kesulitan yang lebih tinggi, namun hasilnya lebih alami dan dapat menghasilkan kata-kata baru yang tidak ada dalam teks asli. Dalam penelitian sebelumnya, RNN termasuk model Seq2Seq yang paling populer dalam peringkasan teks. Namun, metode ini masih memiliki kelemahan dalam menyimpan memory dan gradien yang hilang pada kalimat yang panjang, sehingga menyebabkan penurunan kualitas peringkasan teks yang panjang. Oleh karena itu, dalam penelitian ini mengusulkan untuk menggunakan model Transformer dengan mekanisme Attention yang dapat mengambil informasi penting dan dapat melakukan peringkasan pada teks yang panjang. Model Transformer yang diusulkan adalah model GPT-2 (Generative PreTrained Tranformer 2) yang menggunakan decoder sehingga dapat memprediksi kata berikutnya dengan menggunakan model pre-trained dari w11wo/indo-gpt2small yang diimplementasikan pada dataset Indosum yang berisikan teks dan ringkasan berita berbahasa Indonesia Indosum. Kinerja model dievaluasi menggunakan evaluasi ROUGE. Hasil penelitian dengan model pre-trained GPT-2 yang diusulkan berhasil mencapai rata-rata Recall untuk R-1, R-2, dan R-L masingmasing 0.56, 0.46, dan 0.52.

Actions (login required)

View Item