Architektura transformerů, kterou představila společnost Google v roce 2017, se stala základem všech moderních velkých jazykových modelů. Podle Justina Dangela, zakladatele a CEO startupu Subquadratic, jsou transformery jednou z nejdůležitějších inovací v historii informatiky. Nicméně technologie se začíná stávat problematickou. Klíčovou slabinou je mechanismus husté pozornosti (dense attention), který porovnává každé slovo s každým jiným slovem pomocí násobení. Při zpracování dlouhého dokumentu s deseti tisíci slovy je potřeba provést 50 milionů násobení, což vyžaduje obrovské množství energie. OpenAI letos vynaloží 50 miliard dolarů na výpočetní výkon, a Mezinárodní agentura pro energetiku předpovídá zdvojnásobení spotřeby elektřiny v datových centrech do roku 2030. Transformery mají také problém s rozšířením kontextového okna, které je nezbytné pro zpracování větších objemů dat. Rostoucí počet startupů nyní hledá příštější generaci modelů, které by překonaly tyto limity.