Denní přehled ze světa umělé inteligence
Tag optimalizace nákladů · 4 článků
Dynamický výběr vhodného AI modelu pro konkrétní úkol se stává standardem v podniky. Glean, startup oceňovaný na 7,2 miliardy dolarů, staví své řešení právě na inteligentním routingu mezi různými modely.
Vývojář zveřejnil příběh o tom, jak efektivně využívá AI služby a ušetřuje na nákladech pomocí chytrého přístupu k předplatným. Spaloval měsíčně 157 tisíc tokenů, přestože zaplatil pouze 400 dolarů.
Na GitHubu se objevil nový open-source projekt Miser, který funguje jako brána (gateway) pro komunikaci s AI modely. Hlavním cílem je optimalizovat a snižovat náklady na používání AI služeb.
Hugging Face a SkyPilot spustily integraci, která umožňuje spouštět AI úlohy na jakémkoliv cloudu bez poplatků za odchozí přenos dat. Modely a datasety se uchovávají přímo na platformě Hugging Face s nulovými náklady na jejich přesuny mezi cloudy.