The repository administrator has not yet configured an RDF license.
COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE
Dengan perkembangan terbaru dalam Large Language Models (LLM), kita telah menyaksikan peningkatan akurasi dan performa dalam berbagai tugas. Meskipun terjadi peningkatan tersebut, masih terdapat beberapa masalah terkait sumber daya komputasi, penggunaan memori, dan konsumsi energi. Masalah-masalah ini membatasi penggunaan praktis pada perangkat dengan sumber daya terbatas, seperti edge device. Untuk mengatasi hal ini, teknik kompresi model, khususnya metode pruning, telah mendapat perhatian sebagai solusi yang efektif. Studi ini mengeksplorasi dampak dari berbagai pendekatan pruning terhadap LLM. Melalui evaluasi eksperimental, kami meneliti karakteristik efek pruning terhadap latensi inferensi, metrik performa, dan konsumsi daya. Studi kami menyoroti tiga temuan utama: (1) Meskipun pruning dapat secara signifikan mempercepat inferensi, hasil latensi menunjukkan variasi yang besar, yang dapat menyebabkan peningkatan variabilitas dan meningkatkan latensi TTFT tergantung pada input, sehingga dapat berdampak pada responsivitas waktu nyata; (2) Pruning dapat mengurangi penggunaan perangkat keras hingga 10% dan konsumsi daya hingga 14%, yang menunjukkan komputasi yang lebih efisien; dan (3) Pruning pada model yang lebih besar lebih efektif dibandingkan dengan pruning pada model yang sudah kecil. Temuan-temuan ini diharapkan dapat memberikan wawasan berharga untuk mengoptimalkan penerapan LLM di lingkungan dengan keterbatasan sumber daya serta meningkatkan metode pruning di kedepannya.
Fakultas Ilmu Komputer, Universitas AMIKOM Yogyakarta
COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Text)
COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Archive)
COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE (Other)
HTML Summary of #31405 COMPRESSION CHARACTERISTIC OF LLM USING PRUNING METHODS ON EDGE DEVICE
004 Pemrosesan data dan ilmu komputer
005 Pemrograman komputer, program dan data