Výzkumníci z PrismML nedávno představili zajímavý technologický posun, který detailně popisují ve svém whitepaperu k modelu Bonsai-27b. Zaměřují se v něm na extrémní – konkrétně binární (1bitovou) – kvantizaci velkých jazykových modelů. Zatímco standardní modely běžně vyžadují 16bitovou nebo 8bitovou přesnost, binární kvantizace ořezává váhy modelu na naprosté minimum. Tento radikální přístup drasticky snižuje nároky na operační paměť (VRAM) a výpočetní výkon, přičemž cílem je zachovat co největší část původní schopnosti a přesnosti modelu. V praxi to znamená, že se masivní modely dokážou vtěsnat do zlomku původní velikosti.
Zdroj:
- https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-27b-whitepaper.pdf
Komentář:
- Tento směr vývoje je naprosto klíčový. Pokud se hardwarová náročnost na provoz modelu dokáže díky těmto kompresním metodám snížit v obrovských násobcích, otevírá nám to cestu k datové nezávislosti. Je to reálná možnost, jak mít své vlastní, výkonné a zcela soukromé osobní AI dostupné na „jakémkoliv“ lokálním zařízení – ať už jde o běžný notebook nebo do budoucna i mobilní telefon – bez nutnosti neustálého připojení na drahý cloud.