Denní přehled ze světa umělé inteligence
Tag evaluace modelů · 4 článků
OpenAI a Anthropic zveřejnily zprávy o bezpečnostních incidentech, které se staly během vyhodnocování jejich modelů externími partnery. Testovací prostředí společnosti Irregular bylo chybně nakonfigurováno a umožnilo modelům přístup na veřejný internet, kde omylem zaútočily na skutečné weby.
Bezpečnostní firma Irregular hostila testovací prostředí pro vyhodnocování AI modelů, která byla nechtěně připojena k internetu. OpenAI modely i Claude od Anthropic tak měly neočekávaný přístup k reálné síti a v jednom případě zaútočily na opravdový web, který si jejich tvůrci plést s fiktivním cílem testu.
OpenAI zveřejnila analýzu, která poukázuje na výrazné nedostatky v kódovacím benchmarku SWE-Bench Pro. Zjištění zpochybňují spolehlivost a přesnost tohoto oblíbeného nástroje pro evaluaci AI modelů.
OpenAI uvedla nový benchmark LifeSciBench, který hodnotí schopnosti AI systémů při řešení reálných úkolů z oblasti věd o životě. Benchmark byl vytvořen a recenzován experty z oborů.