Denní přehled ze světa umělé inteligence
Tag inference · 4 článků
AMD získala startup Taalas, který se zaměřuje na vývoj specializovaných čipů pro umělou inteligenci. Nákup signalizuje trend vertikalizace v odvětví AI hardware a důraz velkých výrobců čipů na vlastní řešení pro inference.
Baseten se připojil k síti poskytovatelů inferencí na platformě Hugging Face. Uživatelé nyní mají další možnost, jak spouštět modely přímo z Hugging Face Hub.
OpenAI a Broadcom společně vyvinuli vlastní AI čip s názvem Jalapeño, který je optimalizován pro inference velkých jazykových modelů. Cílem je zlepšit výkon, energetickou účinnost a škálovatelnost AI systémů.
Hugging Face představuje nový přístup k kontinuálnímu batch processingu, který využívá asynchronní operace. Optimalizace zlepšuje výkon a efektivitu při zpracování velkých objemů inference requestů.