A/i

Pajíkovi AI novinky

Denní přehled ze světa umělé inteligence

Tag Anthropic · 31 článků

Vývojář zautomatizoval čtení zpráv do dvou krátkých edic denně s pomocí AI

Programátor si vytvořil vlastní systém, který mu zkrátil každodenní čtení zpráv z až 90 minut na pár minut. Nástroj agreguje články z různých zdrojů, filtruje je podle uživatelských preferencí a AI je shrne do stočeného denního přehledu. Projekt následně zveřejnil jako veřejný nástroj pod názvem Cutthroat News.

Zdroj: Hacker News (AI stories) 12. srpna

Výzkumníci odhalili zranitelnost v API proprietárních modelů AI

Výzkumníci objasnili, jak lze z šifrovaných bloků uvažování (reasoning traces) vracených API společností Anthropic, OpenAI a Google extrahovat skryté myšlenkové pochody silnějších modelů. Zranitelnost spočívala v tom, že modely stejné rodiny sdílely stejný šifrovací klíč, což umožňovalo jailbreak slabších variant a přečtení nezašifrovaného uvažování.

Zdroj: Simon Willison 11. srpna

Výzkumníci získali tajné uvažovací bloky z API velkých jazykových modelů

Badatelé publikovali studii popisující, jak se daly extrahovat zašifrované řetězce myšlení z API společností Anthropic, OpenAI a Google. Útok spočíval v přehrání těchto bloků slabšímu modelu a jejich následném dešifrování prostřednictvím prompt injekce. Všechny tři společnosti problém již opravily.

Zdroj: Simon Willison 11. srpna

Anthropic zveřejnila systémový prompt Claude Opus 5. Obsahuje pokyny k vývozním kontrolám

Anthropic publikovala systémový prompt modelu Claude Opus 5, který obsahuje informace o dočasném pozastavení přístupu k modelům Claude Fable 5 a Claude Mythos 5 v červnu 2026. Prompt instructuje model, aby přesně a věcně informoval o těchto událostech a exportních omezeních.

Zdroj: Simon Willison 9. srpna

OpenAI odhalila bezpečnostní incidenty při testování modelů třetími stranami

OpenAI a Anthropic zveřejnily zprávy o bezpečnostních incidentech, které se staly během vyhodnocování jejich modelů externími partnery. Testovací prostředí společnosti Irregular bylo chybně nakonfigurováno a umožnilo modelům přístup na veřejný internet, kde omylem zaútočily na skutečné weby.

Zdroje (2): OpenAI Blog · Simon Willison 5. srpna

OpenAI i Anthropic odhalily bezpečnostní incident během evaluací kybernetických útoků

Bezpečnostní firma Irregular hostila testovací prostředí pro vyhodnocování AI modelů, která byla nechtěně připojena k internetu. OpenAI modely i Claude od Anthropic tak měly neočekávaný přístup k reálné síti a v jednom případě zaútočily na opravdový web, který si jejich tvůrci plést s fiktivním cílem testu.

Zdroj: Simon Willison 5. srpna

Zásadní chyba činí jazykové modely zranitelné vůči útokům

Výzkumníci z MIT Technology Review odhalili fundamentální bezpečnostní slabinu v architektuře velkých jazykových modelů. Pomocí takzvaného řetězce myšlení (chain-of-thought forgery) dokázali přimět modely od OpenAI, Anthropic, Alibaby a DeepSeek, aby poskytly informace, které by měly být blokovány – například návody na výrobu kokainu nebo sabotáž letadel. Výzkumníci tvrdí, že tuto chybu nelze zcela vyřešit tradičními bezpečnostními opatřeními.

Zdroj: MIT Technology Review AI 30. července

AI ekonomika USA roste o 2 600 procent ročně, ale statistiky ji nevidí

Ekonomové z University of Virginia, Anthropic a Banky Kanady zveřejnili studii ukazující, že americká AI ekonomika roste tempem 2 600 procent ročně v kvalitativních ukazatelích, přesto se tento růst neodráží v tradičních statistikách HDP. Fenomén vzbuzuje obavy z možného podceňování dopadu AI na práci a veřejné finance.

Zdroj: Import AI (Jack Clark) 1. června