NVIDIA představila Nemotron 3.5 Lightning, model zaměřený na rychlé vykonávání specializovaných úloh uvnitř agentních systémů. Model využívá architekturu Mixture-of-Experts. Celkově pracuje s desítkami miliard parametrů, ale pro jeden token aktivuje pouze jejich menší část.
Smyslem není vytvořit dalšího gigantického „všeználka“, který bude řešit úplně všechno. Lightning je navržen například pro opakované volání nástrojů, kontrolu výsledků, jednoduché programovací úlohy, monitoring nebo delegování práce mezi agenty. U vhodně kvantizovaných variant je navíc možné uvažovat i o provozu na jednom výkonném GPU, místo aby každý agentní krok vyžadoval velký cloudový cluster.
Komentář
Tady se dobře ukazuje, kam se agentní AI pravděpodobně posouvá. Dávat každému jednoduchému API callu nejvýkonnější dostupný model je podobné, jako kdyby firma povolala seniorního architekta pokaždé, když je potřeba přejmenovat soubor. Fungovat to bude. Jen je to drahé.
Budoucí agentní systémy proto pravděpodobně nebudou postavené kolem jediného modelu. Budou připomínat hierarchii různě drahých a různě schopných modelů. Velký model vytvoří plán nebo vyřeší těžký problém. Menší modely pak provedou stovky rutinních kroků kolem něj.
A právě v takovém světě mohou mít modely typu Lightning větší praktický význam, než naznačuje jejich velikost.
Napsat komentář