Hugging Face zveřejnil novinku týkající se optimalizace procesu distribuce velkých jazykových modelů. Nová funkce Delta Weight Sync v rámci knihovny TRL (Transformers Reinforcement Learning) řeší problém efektivní dopravy modelů s biliony parametrů. Místo přenosu všech vah najednou systém pracuje pouze s rozdíly (delta váhy) mezi verzemi, což výrazně snižuje objemy přenášených dat. Tímto přístupem lze pracovat s enormně velkými modely způsobem, který byl dosud výpočetně náročnější. Inovace je součástí snahy Hugging Face zjednodušit a zrychlit vývoj a distribuci frontálních jazykových modelů v open-source komunině.
Hugging Face zavádí Delta Weight Sync pro efektivnější distribuci obřích modelů
Zdroje
- Hugging Face Blog: Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
Související články