KETERANGAN GAMBAR OTOMATIS BAHASA INDONESIA MENGGUNAKAN CNN DENGAN PENDEKATAN MODEL DEEP LEARNING BERBASIS TRANSFORMER

Mulyawan, Rifqi (2023) KETERANGAN GAMBAR OTOMATIS BAHASA INDONESIA MENGGUNAKAN CNN DENGAN PENDEKATAN MODEL DEEP LEARNING BERBASIS TRANSFORMER. S2 - Magister thesis, Universitas AMIKOM Yogyakarta.

Text (THESIS) 21.55.1029 Rifqi Mulyawan.pdf Download (1MB)

Abstract

Keterangan gambar melibatkan teks frase generasi atau lebih untuk deskripsi konten visual dari gambar-gambar. Pembuatan teks untuk gambar dipertimbangkan penting untuk membantu aktivitas manusia dalam memahami visual materi, seperti keterangan pada gambar medis, kontak manusia dengan robot, dan membantu orang tunanetra menjelaskan visual. Studi kami bertujuan untuk menciptakan citra Indonesia deskripsikan dan nilai seberapa sukses pendekatan teks tersebut. Kumpulan data Flickr8k yang diterjemahkan disediakan untuk investigasi ini. Penelitian ini menggunakan dua metode pembuatan teks dari a foto: CNN dengan ResNet sebagai encoder, dan Transformer, a mekanisme berbasis perhatian diri sebagai decoder. Menggunakan berbeda Dataset Indonesia, bernama Flickr8k Bahasa, kami menggunakan a Pendekatan berbasis transformer untuk membuat teks Indonesia model generasi dari foto. Kami menunjukkan bahwa kami Strategi berbasis Transformer Indonesia mengungguli yang lama satu, di mana hasil terbaik diperoleh dengan BLEU-1 hingga 4, METEOR, ROUGE_L, CIDer dari 56.00, 41.17, 29.42, 20.57, 19.50, 44.16, 57.26, masing-masing. Selain membandingkan model kinerja menggunakan pra-pelatihan CNN berbasis ResNet yang berbeda model, model CNN yang lebih besar tidak menjamin akurasi apapun peningkatan melalui lima puluh zaman proses pelatihan.

Actions (login required)

View Item