Meta představila Muse Glimmer, open-source AI model s 30 miliardami parametrů (vydaný pod licencí Apache 2.0), který je navržen speciálně pro běh autonomních agentů čistě na lokálních zařízeních. Díky 4bitové kvantizaci a nové technice spekulativního dekódování „DFlash“ se vývojářům podařilo model zkomprimovat pod 20 GB a výrazně urychlit jeho běh. Muse Glimmer tak dokáže fungovat bez připojení ke cloudu na jediné výkonné spotřebitelské grafické kartě, což zajišťuje maximální soukromí a offline dostupnost. Model si poradí s komplexními úkoly, multimodálními vstupy (zpracovává text i obrázky), přesným využíváním nástrojů (tool calling) a dokonce i s automatickým zotavením z chyb, pokud nějaký naplánovaný krok selže.
Komentář:
To, že Meta posouvá hranice lokální umělé inteligence pod skutečně svobodnou open-source licencí, je obrovská výhra pro vývojářskou komunitu a zásadní krok kupředu pro ochranu soukromí. Musíme ale číst trochu mezi řádky, zejména pokud jde o sliby ohledně „běžného spotřebitelského hardwaru“. Nacpat 30miliardový model do necelých 20 GB VRAM je sice neuvěřitelný technický kousek, ale v praxi to stále omezuje využití jen na ty nejdražší stroje na trhu – bavíme se o sestavách s RTX 4090/5090 nebo špičkových čipech Apple Silicon (M4/M5 Max). Pro běžného uživatele s normálním notebookem je to zatím nedosažitelné.
Zdroj:
https://research.meta.ai/blog/introducing-muse-glimmer-open-agentic-model
Napsat komentář