Iedereen heeft onderhand een GenAI assistent op zijn/haar mobiel of wordt er direct mee geconfronteerd als je een simpele zoekopdracht uitvoert op elke willekeurige zoekmachine. Juist die toegankelijkheid en het gemak wat die simpele tools in het dagelijks werk maken het moeilijk om te accepteren dat (gen)AI iets is wat simpelweg nog niet beschikbaar is intern bij het Rijk.
Idealiter heb je niet dat iedereen maar voor samenvattingen en simpel werk wat door een LLM verricht kan worden zaken extern via een publieke tool laten lopen waarbij data en inhoud voor eeuwig onderdeel gaat zijn van een trainingsset. Zie ook nieuwsberichten van het AP hierover.
Er is dus een zeker belang om een generieke LLM tool beschikbaar te hebben waarmee mensen veilig kunnen experimenteren zonder dat dit direct tot datalekken zal leiden. En in de toekomst als de verschillende AI beleidsstukken en richtlijnen komen er gezorgd kan worden dat deze opgevolgd worden.
Daarnaast is het ook de vraag hoe er impact kan worden behaald met "AI". Veel trajecten zijn nu POCs met veel denk- en consultancywerk waardoor daadwerkelijk een positieve ROI te halen erg lastig is. Zolang beleid er simpelweg nog niet is, is het ook niet helder welk deel van werk je bijvoorbeeld zou mogen weg automatiseren. Resultaat daarvan is dat je dus veel theoretische trajecten gaat draaien met wel praktijkcasussen maar nooit een mogelijkheid om direct baten te incasseren door efficiënter te gaan werken. De focus zal dus vooral liggen human-in-the-loop procesoptimalisaties waarbij doorlooptijden, die soms aanzienlijk zijn, een stuk korter kunnen worden. Zulk soort profijten hard maken is alleen een stuk lastiger omdat er veel meer (externe) invloeden zijn.
De vraag is ook of alle AI automatisering als een gericht project ingericht moet worden of dat AI juist met decentrale invoering de meeste impact gaat hebben. Een proces volledig automatiseren met LLMs zal veelal moeilijk zijn en ook onwenselijk omdat je wilt verifiëren wat er is gebeurt en ook later dient aan te kunnen geven hoe bepaalde beslissingen zijn genomen. Als een traject volledig via een probabilistisch model wordt gerund kan dat simpelweg niet. De vraag is of LLMs dan juist niet op meerdere kleine stukken in een proces versnelling kunnen brengen. In plaats van dat veel stappen die nu nog te moeilijk (of te duur) waren om te automatiseren dat een generiek LLM model in die stappen wel een versnelling kan brengen. Kan een agentic LLM flow niet even die snelle aanpassingen doen in je document op basis van een prompt terwijl je koffie haalt?
Voor dat laatste is het handig om een (veilige) tool breed uit te rollen en simpelweg te experimenteren om te zien waar toepassingen van een LLM waarde kunnen hebben en waar het simpelweg niet geschikt voor is. Veel van de toepassingen die waarde hebben kan je niet verzinnen van buitenaf of ver weg vanaf de dagelijkse gang van zaken in diverse afdelingen. Maar dat betekend zeker niet dat ze er niet zijn.
Zo heb ik nu binnen RVO een "rvogpt" neergezet om basaal intern experimenteren met LLMs mogelijk te maken. Waar ik zelf vooral de kracht zie in het deels (her)schrijven van code aangezien dit een groot deel is van mijn werk zie je dat dit heel anders ligt voor de ±6000 directe collega's. Er komen erg veel vragen en use cases naar voren die ik simpelweg vanuit mijn invalshoek en met mijn kennis nooit had kunnen bedenken. Bovendien maakt zo'n generieke tool met al haar gebreken het ook moeilijker om een externe tool te gebruiken voor een eerste experiment. Soms kan je simpelweg alleen experimenteren met data of stukken die er daadwerkelijk toe doen en niet buiten het bedrijf mogen landen. De tool stelt ook weinig meer voor dan een simpele FastAPI wrapper om wat API calls richting modellen met als backend een PostgreSQL met vector extensie. Voor onder de <500 euro in de maand een simpele opzet die experimenteren mogelijk maakt voor honderden collega's. Zodra uit het experimenteren wat interessants komt kan er een gerichtere flow en tool worden ingericht die voldoet aan alle IV-richtlijnen. Bovendien zorgt dit er ook voor dat de "ik wil iets doen met AI"-mensen met een gerichtere vraag en opzet kunnen komen over wat ze precies willen doen en bereiken.
Terug naar thuis