Amazon mění fungování hlasové asistentky Alexa+, aby omezil nákladné využívání modelů Claude od společnosti Anthropic. Podle interních dokumentů z konce minulého a začátku letošního roku chce více požadavků směrovat na vlastní modely, využívat již uložené odpovědi a zpracovat více úloh na stejném množství výpočetní kapacity. Rozhodující je očekávaný účet za cloud: interní prognóza z počátku letošního roku uváděla, že náklady AWS na provoz služby mohou v roce 2026 dosáhnout přibližně 1,7 miliardy dolarů, tedy téměř trojnásobku oproti předchozímu roku.
- Alexa+ má častěji používat vlastní modely Amazonu namísto Claude Sonnet.
- Náklady AWS na jednoho měsíčně aktivního uživatele měly být asi 60 procent nad cílem Amazonu.
- Soubor plánovaných změn měl více než zečtyřnásobit počet zákaznických transakcí na jednotku výpočetní kapacity.
- Ani identifikované možné úspory kolem 450 milionů dolarů podle interního hodnocení nestačily ke splnění finančních cílů.
Generativní odpovědi změnily ekonomiku Alexy
Dřívější podoba Alexy vyřizovala hlasové požadavky levněji. Alexa+ však řadu odpovědí vytváří pomocí velkých jazykových modelů provozovaných na cloudových službách náročných na grafické procesory. Běžná interakce s asistentem se tím mění ve výpočetně dražší úlohu.
Finanční tlak zesílil s rozšiřováním služby mezi další uživatele. Alexa+ se ve Spojených státech stala dostupnější začátkem letošního roku, její uvedení však Amazon předtím několikrát odložil. Business Insider již dříve uvedl, že vývojáři řešili halucinace umělé inteligence i otázku, zda je služba připravena pro zákazníky.
Interní odhady ukazují, že samotné rozšíření generativní AI nestačí: Amazon nyní musí rozhodovat, které požadavky skutečně potřebují nejvýkonnější a nejdražší model.
Firma zvažovala také odklad některých nákladných iniciativ. Projekt Moonraker, jehož cílem je přidat Alexe pokročilejší schopnosti AI agenta, se měl letos stát největší položkou mezi výdaji služby na umělou inteligenci. Amazon proto prověřoval možnost, že části projektu posune, zatímco bude hledat další úspory.
Claude má zůstat pro úlohy, které ho potřebují
Jedním z hlavních kroků je přesun specializovaných funkcí označovaných jako Alexa „Experts“ z modelu Claude Sonnet na vlastní modely Amazonu. Interní plány zároveň počítaly s omezením dalších volání modelů Claude napříč digitálním asistentem.
Další úspory má přinést mezipaměť neboli cache. Pokud už systém obsahuje vhodnou odpověď na opakovaný požadavek, nemusí pokaždé spouštět nový výpočet modelu. Amazon chce také rozšířit deterministické zpracování předvídatelnějších dotazů, u nichž není nutné zapojovat velký jazykový model.
Jde o příklad vícemodelového směrování: systém posoudí typ úlohy a zvolí pro ni odpovídající model nebo jednodušší postup. Podle analytiků investiční společnosti William Blair se tato architektura stává v softwaru standardem. Výkonné modely se vyhrazují pro složité požadavky, zatímco jednodušší úlohy míří k levnějším variantám.
Pro uživatele to znamená, že kvalita AI služby nemusí záviset na jediném modelu; podstatné je také to, zda systém dokáže správně a levně rozdělit jednotlivé požadavky.
Omezování Claude je pozoruhodné kvůli úzkým vazbám obou společností. Amazon do Anthropicu investoval miliardy dolarů, spolupracuje s ním a mohl by finančně těžit z případného vstupu startupu na burzu. V provozu Alexy+ však podle dokumentů přesto hledá cesty, jak modely Anthropic používat méně často.
Software má dostat více výkonu ze stejných GPU
Amazon se nesoustředí pouze na výběr modelů. Jedna z interních plánovacích map předpokládala, že softwarové úpravy zvýší dostupnou výpočetní kapacitu přibližně o 50 procent a současně zkrátí dobu odezvy asi o 40 procent. Firma sledovala očekávaný růst počtu zákazníků, využití GPU, volnou kapacitu i efektivitu inference.
Inference označuje samotné spuštění již vytvořeného modelu při generování odpovědi. Právě její opakované provádění vytváří průběžné provozní náklady, na rozdíl od jednorázového vývoje běžné softwarové funkce. Amazon proto vedle GPU od Nvidie hodnotil také vlastní čipy Trainium.
Tento posun je relevantní i pro české firmy využívající cloudovou AI: cena služby nezávisí jen na schopnostech modelu, ale také na tom, kolikrát jej aplikace spouští, jak rozděluje dotazy a jak efektivně využívá výpočetní hardware. Případ Alexy+ tak ukazuje, že další fáze soutěže v AI se bude vedle kvality modelů odehrávat také v nákladech na každý jednotlivý požadavek.
Měla by Alexa+ složitější dotazy dál svěřovat Claude, nebo je pro Amazon důležitější co nejrychleji přejít na vlastní modely? Podělte se o svůj názor.
