Akcie pamäťových firiem klesli - Google predstavilo TurboQuant, algoritmus na kompresiu AI modelov |
Akcie viacerých pamäťových výrobcov prudko klesli po zverejnení TurboQuant kompresii AI modelov.
Google dnes predstavil TurboQuant, algoritmus na kompresiu pamäťovej časti AI modelov, konkrétne tzv. KV cache. Podľa Google Research vie znížiť nároky na túto pamäť aspoň 6-násobne a v niektorých testoch priniesť až 8-násobné zrýchlenie pri inferencií na Nvidia H100, pričom v ich benchmarkoch neprišla strata presnosti.
Po oznámení TurboQuantu klesli akcie viacerých pamäťových a SSD firiem, napríklad Micronu (-23%), Sandisku (-11%), ostatní ako Western Digitalu, SK Hynix či Samsung okolo -6%, lebo investori sa zľakli, že AI sektor možno nebude potrebovať toľko drahej pamäte ako sa čakalo. Bežní používatelia by mohli reagovať s nádejou, ale nie je to až také víťazstvo. Nedostatok pamätí to nevyrieši.
TurboQuant rieši hlavne pamäťový problém pri behu veľkých AI modelov, kde KV cache pri dlhých kontextoch žerie obrovské množstvo pamäte. Čo síce pomôže, pri behu modelov a lepšom rozložení pamäte v serveroch medzi používateľmi, ale firmy zrazu nebudú nakupovať menej pamäte.
Určite AI firmy poteší zníženie pamäte, ale nie je to práve to, čo stabilizuje trh.
| NAJČÍTANEJŠIE ČLÁNKY TÝŽDŇA |
- Nový AI model Claude Mythos je taký nebezpečný, že ho dostanú iba vybrané firmy 28
- DOJMY: Forza Horizon 6 33
- RECENZIA: Legacy of Kain: Ascendance 8
- Prvé zábery Elden Ring filmu Alexa Garlanda unikli na TikToku 32
- Prvých 20 minút hrateľnosti Samson hry 42
- Herečka Milla Jovovich vydala open-source systém MemPalace na dlhodobú pamäť pre A 45
- Sony údajne chystá výkonnú handheld konzolu, má prekonať Xbox Series S 100
- Orion práve oblietava Mesiac, po polnoci sa dostane za jeho odvrátenú stranu a zam 260
- Game Pass dostáva várku nových titulov 12
- Take 2 vraj zrušilo svoj AI tím 54 zobraziť viac článkov >
