de prijs van tokens

Waar we eerst maximaal gehyped werden om alsmaar meer LLM tokens te gebruiken; van chat naar agentic naar nu uiteindelijk loops al de ultieme manier om van LLMs gebruik te maken en reguliere processen te automatiseren of te versnellen. Zien we nu langzaam dat de limieten van private investeringen in de diverse AI bedrijven bereikt worden en de grote commerciële bedrijven het niet langer van “onbeperkt” private equity geld kunnen hebben maar kapitaal van andere partijen zoals banken en de markt dienen te halen.

Partijen als Uber gebruiken in een kwartaal het totale jaarbudget aan tokens/AI en je ziet ook andere partijen die voorzichtig met de eerste inschattingen komen qua tokenbudget per developer in de richting van 1500-2000 dollar. Op kleine schaal zien we het ook gebeuren bij GitHub Copilot waar ondergetekende opeens in de nieuwe stijl pricing in 2 dagen alle tokens verstookt had van het budget in plaats van er fatsoenlijk een maand mee te kunnen doen. Qua effectiviteit zie ik het er verder in de Uber app qua meedogenloze nieuwe features niet aan af, al die tokens.

Online zijn er meer voorbeelden te vinden van individuele ontwikkelaars die in de miljarden tokens per maand verstoken met meerdere agents die parallel aan het werk zijn. De vraag hierbij is natuurlijk of tokens zo met nieuwe prijslevels nog wel goedkoper zijn dan menselijke coders. Vooral in deze schiet maar lukraak wat tokens op een probleem en hoop dat het gefixed wordt. Waar LLMs zelfstandig op dit moment nog erg goed in zijn is bloated code en tekst schrijven met nadruk op veel. De vraag is gaan we dit beheersbaar houden als de uiteindelijke stijl daadwerkelijk zelfstandig draaiende agentic flows gaan zijn?

Binnen bepaalde opensource projecten wordt er al gedeeltelijk AI gebruik verboden en zie je analyses komen waar zaken als rsync meer bugs en fouten lijkt te verzamelen dan eerder het geval was.

Bij al deze onzekerheden is het de vraag of een partij zoals Mistral die juist inspringt op enterprise deployments waarbij fixed contracten gebruikt kunnen worden niet hard gaat groeien zodra er toch wel een corporate financieel limiet blijkt te zijn die geldt voor al die tokens. Nu is het nog erg lastig om die financiële pijnprikkel op de juiste plek van de organisatie te leggen als er zoveel variatie in zit. Of wie weet is dit de laatste nieuwe type job na de cloud DevOps pricing specialisten, de tokens pricing specialisten.

Ook Google die effectief 1 van de weinige partijen is met de volledige verticaal geïntegreerde AI-stack vraagt voor zijn nieuwe Gemini flash model, het goedkope snelle model, een factor 15-17 meer kosten ten opzichte van het vorige model. En daarnaast verkopen ze extra aandelen om kapitaal aan te trekken voor investeringen in AI. Dit maakt het allemaal nog erg onduidelijk wat nu een fatsoenlijke prijs gaat zijn die commercieel in de markt gerekend gaat worden voor tokens van een frontier model.

Misschien dat we na alle AI IPOs en een jaar door de aandelenbeurs verplichte cijfer rapportages het antwoord weten? To the moon!

Terug naar thuis