Během diskuse v podcastu Inference Engineering Masterclass z Latent Space se řešilo budoucnost megakernelů — velkých fúzovaných kernelů, které měly zjednodušit provoz a snížit latenci. Odborníci však shodují, že tato strategie selhává kvůli omezením paralelního zpracování: když je matice v tenzorové paralelizaci rozdělena mezi více GPU, jádro musí počkat na komunikaci mezi procesory pro nelineární operace jako softmax. Fúzované kernely jsou také mimořádně těžké na psaní a optimalizaci — jednoduše tak nemůžete mít 67 tisíc řádků ruční forward pass kernelu v produkci. Namísto toho si produkční systémy vedou lépe s modulárními kernely v TensorRT-LLM, které lze optimalizovat jednotlivě a paralelizovat. Kyle Kranen z Nvidie prezentoval novou Rubinovu GPU s dependency triggers — technologií, která řeší problém prostojů kernelů a tím ruší hlavní důvod pro kernel fusion. Zmíněný vedoucí technolog tvrdí, že Rubin je přímo navržen tak, aby megakernely zabil.