AI bureau Den Bosch
We bouwen AI die veel aanvragen of inzendingen op dezelfde manier beoordeelt, volgens jullie criteria. Zo selecteert Harman inzendingen met een LLM.
Voor Harman ontwikkelden we een selectieproces met GenAI dat inzendingen objectief en reproduceerbaar beoordeelt
Grote aantallen inzendingen voor internationale prijscampagnes worden zo op dezelfde manier geselecteerd. Het marketingteam bespaart tijd en kan campagnes opschalen.
Beoordelen twee collega’s dezelfde aanvraag eigenlijk hetzelfde?
Bij veel aanvragen, inzendingen of meldingen hangt de uitkomst af van wie beoordeelt en wanneer. Een model dat jullie criteria toepast, kijkt elke keer op dezelfde manier en zegt waarom.
Jullie criteria, elke keer op dezelfde manier toegepast
Criteria vastleggen
Wat telt en hoe zwaar, opgeschreven met de mensen die nu beoordelen, inclusief voorbeelden van goed en fout.
Een score met uitleg
Per aanvraag of inzending een score en de reden, zodat een beoordelaar ziet waarop het model zich baseert.
Een mens beslist
Het model rangschikt en signaleert, een medewerker neemt het besluit, en twijfelgevallen gaan altijd naar een mens.
Reproduceerbaar op schaal
Zoals Harman duizenden inzendingen op dezelfde manier laat beoordelen, toetsen we het model op een vaste set.
Eerst zien hoe jullie nu beoordelen, dan het model daaraan toetsen
-
Criteria en set
Met je beoordelaars leggen we criteria vast en kiezen we eerdere gevallen met een bekende uitkomst.
-
Model naast mensen
Het model beoordeelt dezelfde gevallen, en we vergelijken waar het afwijkt en waarom.
-
In gebruik nemen
Eerst als advies aan de beoordelaar, daarna op schaal, met een vaste controle op steekproeven.
Mag een model meebeslissen over onze aanvragen?
Past als
Je krijgt veel inzendingen, aanvragen of meldingen met tekst, de criteria zijn te beschrijven, en beoordelen kost nu veel tijd of verschilt per persoon.
Past niet als
Het gaat om een handvol gevallen per jaar, of elk besluit vraagt een afweging die niet in criteria te vangen is. Dan blijft het mensenwerk.
Waar de omvang van afhangt
Het aantal gevallen, hoeveel criteria er zijn, welke systemen de aanvragen aanleveren en hoe streng de controle achteraf moet zijn.
Is het eerlijk en uitlegbaar?
Daar toetsen we op: we vergelijken met eerdere besluiten, kijken naar groepen die anders uitkomen en leggen bij elk oordeel de reden vast.
Beoordelaars met een checklist, vaste regels of een taalmodel met criteria?
Beoordelaars met een checklist
Kies dit als het om weinig gevallen gaat en vakkennis de doorslag geeft. Verschillen tussen beoordelaars neem je voor lief.
Vaste regels in een systeem
Kies dit als criteria meetbaar zijn, zoals een bedrag of een datum. Voor vrije tekst en motivaties schieten regels tekort.
Een taalmodel met criteria
Kies dit als veel aanvragen uit tekst bestaan. Ons advies: begin als advies aan je beoordelaars en vergelijk de uitkomsten.
Generatieve AI die in een bedrijfsproces draait, hebben we vaker gebouwd
Data Science Lab bestaat sinds 2016 en is partner van Microsoft en Databricks. We bouwden LLM-toepassingen voor Harman en Fokker, en delen wat we leren op onze Techdays.

Welke beoordeling jullie de meeste tijd kost, bespreken we als eerste
Stef Stoelwinder
Business DevelopmentStef is je aanspreekpunt. In het eerste gesprek bespreken we wat jullie beoordelen en volgens welke criteria.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Aanvragen, inzendingen of meldingen: waar wil je mee beginnen?
Vertel wat er binnenkomt en hoe jullie nu beoordelen. Je krijgt antwoord per mail, of we plannen een eerste gesprek.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Het bouwt AI-toepassingen die in je eigen processen draaien, en neemt ze in beheer. Hier gaat het om beoordelen en selecteren: aanvragen, inzendingen of meldingen volgens vaste criteria.
Meer toepassingen lees je bij AI-toepassingen.
Het model krijgt jullie criteria en voorbeelden, leest elke aanvraag en geeft per criterium een oordeel met de reden. Die uitkomst toetsen we tegen eerdere besluiten van jullie beoordelaars.
Lees meer over generatieve AI.
Daar richten we het op in: vaste instructies, vaste criteria en een testset die bij elke wijziging opnieuw draait. Zo selecteert Harman grote aantallen inzendingen op dezelfde manier.
Wijkt het model af, dan zien we dat in de test.
Dat hangt af van wat er beoordeeld wordt. Gaat het om mensen, zoals sollicitanten of uitkeringen, dan gelden strengere regels. Lees daarover bij de AI Act.
We bespreken dat vooraf, voordat er iets gebouwd wordt.
Data Science Lab werkt vanuit Amsterdam. Voor de start en het werk met je beoordelaars komen we langs, de rest doen we op afstand.
Juist het gesprek met de mensen die nu beoordelen, doen we het liefst aan tafel.
In jullie eigen cloudomgeving of een afgeschermde dienst, met afspraken over wat bewaard wordt. Gaat het om persoonsgegevens, dan zetten we de risico’s vooraf op een rij.
Aanvragen worden niet gebruikt om een openbaar model te trainen.
Dan past ons data science bureau voor Den Bosch beter: modellen die vooraf doorrekenen wat een keuze in je planning doet.
Beide kunnen ook samengaan.
Begin dan bij onze AI-consultant voor Den Bosch. Daar kiezen we samen de vraag met de meeste waarde, en daarna bouwen we.
Wie beheert wat, spreken we ook vooraf af.