…
comment: The repository administrator has not yet configured an RDF license.
primary topic: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE
type: Thesis
type: Article
abstract: Dengan perkembangan terbaru dalam Large Language Models (LLM), kita telah menyaksikan peningkatan akurasi dan performa dalam berbagai tugas. Meskipun terjadi peningkatan tersebut, masih terdapat beberapa masalah terkait sumber daya komputasi, penggunaan memori, dan konsumsi energi. Masalah-masalah ini membatasi penggunaan praktis pada perangkat dengan sumber daya terbatas, seperti edge device. Untuk mengatasi hal ini, teknik kompresi model, khususnya metode pruning, telah mendapat perhatian sebagai solusi yang efektif. Studi ini mengeksplorasi dampak dari berbagai pendekatan pruning terhadap LLM. Melalui evaluasi eksperimental, kami meneliti karakteristik efek pruning terhadap latensi inferensi, metrik performa, dan konsumsi daya. Studi kami menyoroti tiga temuan utama: (1) Meskipun pruning dapat secara signifikan mempercepat inferensi, hasil latensi menunjukkan variasi yang besar, yang dapat menyebabkan peningkatan variabilitas dan meningkatkan latensi TTFT tergantung pada input, sehingga dapat berdampak pada responsivitas waktu nyata; (2) Pruning dapat mengurangi penggunaan perangkat keras hingga 10% dan konsumsi daya hingga 14%, yang menunjukkan komputasi yang lebih efisien; dan (3) Pruning pada model yang lebih besar lebih efektif dibandingkan dengan pruning pada model yang sudah kecil. Temuan-temuan ini diharapkan dapat memberikan wawasan berharga untuk mengoptimalkan penerapan LLM di lingkungan dengan keterbatasan sumber daya serta meningkatkan metode pruning di kedepannya.
date: 2025-07-28
status: published
author list: authors
type: EPrint
type: ThesisEPrint
is part of: repository
has document: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
has document: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Archive)
has document: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Other)
subject: 004 Pemrosesan data dan ilmu komputer
subject: 005 Pemrograman komputer, program dan data

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document
has file: COVER.pdf
has part: COVER.pdf

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document
has file: BAB I.pdf
has part: BAB I.pdf

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document
has file: BAB V.pdf
has part: BAB V.pdf

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Archive)
type: Document

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
type: Document

Universitas AMIKOM Yogyakarta
type: Organization

Fakultas Ilmu Komputer, Universitas AMIKOM Yogyakarta
type: Organization

Sultan Gemilang Kemadi
type: Person
given name: Sultan Gemilang
family name: Kemadi

Arief Setyanto
type: Person
given name: Arief
family name: Setyanto

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Other)
type: Document
is version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
is volatile version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
is index codes version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
has file: indexcodes.txt
has part: indexcodes.txt

COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Other)
type: Document
is version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
is volatile version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
is index codes version of: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)

HTML Summary of #31405 COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE
format: text/html
primary topic: COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE

004 Pemrosesan data dan ilmu komputer
type: Concept

005 Pemrograman komputer, program dan data
type: Concept