Modelkeuze voor productie begint bij de limiet, niet bij de demo
Kies per workflow een aantoonbaar haalbare route
Kies niet één ‘beste’ AI-provider voor de hele organisatie. Kies per workflow een primaire route die de verwachte piekbelasting aankan, met een vooraf bepaalde reactie wanneer die route niet beschikbaar is. De OpenAI-documentatie beschrijft rate limits als limieten op onder meer requests en tokens binnen een tijdvak; de hoogte hangt daar bovendien samen met de gebruikstier. Dat is geen uitspraak over alle aanbieders of over Google AI, maar wel een bruikbare reden om capaciteit als ontwerpeis te behandelen. Leg daarom vóór ingebruikname vast welke wachttijd, foutmelding of volumepiek nog acceptabel is. Een fallback kan een ander model zijn, een wachtrij of overdracht aan een medewerker; de juiste keuze hangt af van de gevolgen voor deze specifieke workflow.
Test de keten, niet alleen het antwoord
Een goed antwoord in een losse prompt zegt weinig over de productiegang. Test een realistische reeks aanvragen met de geplande invoer, gelijktijdigheid en foutafhandeling. Meet daarbij ten minste geslaagde en afgewezen aanvragen, doorlooptijd, gebruikte tokens, kostenindicatie en welke fallback is geactiveerd. Dat sluit aan bij het tweede bronfragment: ook in een grootschalige Google-infrastructuur blijven naast gespecialiseerde hardware knelpunten bestaan en benoemt het onderzoek kritieke uitdagingen in de end-to-end-uitvoering. De bron gaat over advertentie-aanbevelingen en veilingen bij Google, niet over een algemeen voorschrift voor externe AI-API’s; hij onderbouwt dus vooral het belang van de hele keten bekijken. Bewaar ook versie- en configuratiegegevens: de documentatie noemt snapshots juist als manier om gedrag en prestaties op een specifieke modelversie consistent te houden.
Maak het besluit herhaalbaar met één register
Gebruik een beslisregister per workflow, zodat een team later kan reconstrueren waarom de gekozen route nog passend is. Vul voor de primaire route en de fallback in: eigenaar, verwachte piek, gemeten resultaat, kostenplafond, logvelden, escalatiepunt en herbeoordelingsdatum. Noteer per workflow de primaire modelroute, de geteste piekbelasting, het kostenplafond, de vereiste logvelden, de fallback en de eigenaar van het herbesluit. Daarmee wordt modelkeuze een controleerbaar operationeel besluit in plaats van een eenmalige demonstratie. Deze werkwijze geeft geen individueel juridisch, financieel of professioneel advies; contractuele, privacy- en sectorspecifieke eisen vragen om een afzonderlijke beoordeling.
