Společnost JetBrains představila Mellum2, jazykový model s 12 miliardami parametrů, který využívá architekturu Mixture-of-Experts (MoE). Tento přístup umožňuje modelu selektivně aktivovat pouze relevantní části své sítě při zpracování různých úloh, což zvyšuje účinnost a snižuje výpočetní náklady. Model je nyní dostupný na platformě Hugging Face, což jej otevírá vývojářům a výzkumníkům po celém světě. Mellum2 představuje pokračování v úsilí JetBrains zaměřeném na vývoj vysoce kvalitních open-source modelů. Architektura Mixture-of-Experts se v poslední době stala populární volbou pro velkolehlé jazykové modely, neboť nabízí dobrý poměr mezi výkonem a efektivitou.