Редукція параметрів нейронних мереж на підставі машинного навчання

Authors

  • І. І. Хрипливий

Keywords:

великі мовні моделі, Mixture-of-Experts, редукція параметрів, shared experts, REAP pruning, KV-кеш, квантизація

Abstract

У кваліфікаційній роботі досліджено методи оптимізації використання пам'яті у великих мовних моделях (LLM) та розроблено підходи до редукції параметрів нейронних мереж. Проаналізовано сучасні архітектури Mixture-ofExperts (MoE), методи квантизації, оптимізації KV-кеша та факторизації ембедингів.

Downloads

Published

2026-01-13

Issue

2025-2026 н.р.

Section

Спеціальність 122 Комп’ютерні науки