Denní přehled ze světa umělé inteligence
Tag transformery · 4 článků
Devět let po revoluci transformerů se AI startup komunita ptá, co bude dál. Transformery, které pohánějí všechny současné velké jazykové modely, začínají být limitující pro řešení náročnějších úloh.
Hugging Face vydal třetí díl série o profilování výkonu v PyTorchu, zaměřený na optimalizaci attention mechanismů. Článek ukazuje, jak měřit a zlepšovat výkon klíčové komponenty transformerových modelů.
Výzkumníci z Allen Institute for AI představili DiScoFormer, nový model, který zvládá jak odhad hustoty pravděpodobnosti, tak skórování distribucí v jediné architektuře. Jde o přístup, který sjednocuje dva dosud oddělené úkoly.
NVIDIA predstavila nový nástroj NeMo AutoModel určený k urychení procesu dolaďování velkých jazykových modelů. Řešení má zlepšit efektivitu trénování a zpřístupnit fine-tuning širšímu okruhu vývojářů.