Data Scientist GenAI • LLM, RAG & Chatbot Evaluation • Finance

Opdrachtomschrijving

Data Scientist GenAI • LLM, RAG & Chatbot Evaluation • Finance

Voor een grote financiële organisatie in Utrecht zoeken wij een ervaren Data Scientist GenAI die zich richt op het analyseren, evalueren en verbeteren van AI-chatbots en LLM-gebaseerde toepassingen. Je onderzoekt waarom AI-assistenten niet altijd de verwachte resultaten leveren en vertaalt inzichten naar concrete verbeteringen in retrieval, contextmanagement en agentgedrag.

Rol & context

Als Data Scientist GenAI werk je op het snijvlak van data science, AI-engineering en productontwikkeling. Je richt je niet op het bouwen van foundation models, maar op het verbeteren van de kwaliteit, betrouwbaarheid en effectiviteit van bestaande chatbot- en AI-agentoplossingen.

Je analyseert chatbotgedrag, identificeert ontbrekende context en onderzoekt hoe retrieval, grounding, reasoning loops en tool calling kunnen worden verbeterd.

Je werkt nauw samen met engineers, productmanagers en stakeholders om functionele behoeften te vertalen naar technische verbeteringen. Daarbij ontwikkel je evaluatiekaders waarmee de prestaties van AI-systemen structureel kunnen worden gemeten en verbeterd.

Het betreft een medior-seniorfunctie binnen een internationale, Engelstalige werkomgeving.

Werkzaamheden

• Analyseren van chatbotoutputs en identificeren van verbeteringen met de grootste impact.
• Onderzoeken waarom AI-assistenten onverwachte of onvoldoende effectieve antwoorden genereren.
• Signaleren van ontbrekende context en bepalen welke aanvullende informatie AI-agents nodig hebben.
• Evalueren van bestaande GenAI-oplossingen ten opzichte van actuele technologische ontwikkelingen.
• Verbeteren van retrievalmechanismen en de structurering van contextuele informatie.
• Optimaliseren van Retrieval-Augmented Generation (RAG), grounding en contextmanagement.
• Evalueren van prompts, context windows, reasoning loops en tool-callingfunctionaliteiten.
• Ontwerpen van evaluatiekaders voor de prestaties en kwaliteit van chatbots en AI-agents.
• Ontwikkelen van methoden voor grootschalige experimenten en continue verbetering.
• Samenwerken met productmanagers en engineers bij het definiëren van evaluatiecriteria.
• Ophalen van praktijkervaringen en gebruikersfeedback bij stakeholders en betrokken teams.
• Analyseren van datastromen, API-integraties, batchsynchronisatie en context ingestion.
• Signaleren en oplossen van knelpunten in de verwerking en beschikbaarheid van informatie.
• Vertalen van functionele requirements naar concrete technische verbetervoorstellen.
• Communiceren van analyses, oorzaken en verbetermaatregelen aan technische en niet-technische stakeholders.

Eisen

• HBO-werk- en denkniveau.
• Aantoonbare kennis van generatieve AI en Large Language Models (LLM's).
• Ervaring met het ontwikkelen, toepassen of verbeteren van LLM-gebaseerde applicaties.
• Ervaring met retrieval-augmented systemen en RAG-concepten.
• Goede kennis van prompting, context windows, retrieval en grounding.
• Ervaring met het analyseren en beoordelen van de kwaliteit van chatbotoutputs.
• Vermogen om te verklaren waarom AI-resultaten effectief of onvoldoende effectief zijn.
• Ervaring met het ontwikkelen van evaluatiekaders die verder gaan dan traditionele machinelearningmetrics.
• Kennis van API-integraties, batchsynchronisatie en gestructureerde en ongestructureerde data.
• Vermogen om problemen in datastromen en context ingestion te analyseren.
• Sterk analytisch vermogen en het kunnen vertalen van bevindingen naar technische verbeteringen.
• Begrip van functionele requirements, gebruikersgedrag en productdoelstellingen.
• Ervaring met samenwerking tussen engineering, productmanagement en stakeholders.
• Goede communicatieve vaardigheden en het vermogen om complexe technische onderwerpen helder uit te leggen.
• Uitstekende beheersing van het Engels.
• Beschikbaarheid voor 36 uur per week gedurende de volledige opdrachtperiode.
• Bereidheid om op donderdag op locatie in Utrecht te werken.
• Inzet via payrolling; directe ZZP-inzet en midlanceconstructies zijn niet toegestaan.

Pré’s

• Ervaring met human-in-the-loop evaluation.
• Ervaring met evaluatie en optimalisatie van AI-assistenten en agentgebaseerde toepassingen.
• Kennis van reasoning loops en tool-callingmechanismen.
• Ervaring met schaalbare evaluatie- en experimentatieframeworks.
• Een sterke productgerichte en analytische werkwijze.
• Ervaring binnen multidisciplinaire AI-, data- en engineeringteams.
• Het vermogen om complexe problemen te vertalen naar praktische oplossingen.

Praktische informatie

• Start: zo spoedig mogelijk, na succesvolle afronding van de screening.
• Looptijd: tot en met 31 mei 2027, zonder verlengingsoptie.
• Uren: 36 uur per week.
• Locatie: Utrecht, hybride; donderdag op kantoor aan de Winthontlaan tot nader bericht.
• Soort opdracht: payrolling.
• Reageren t/m: 27 oktober 2026, 17:00 uur. De opdracht kan eerder sluiten.
• Kenmerk DC&I: 202610179.
Let op: voor deze opdracht moeten het CV en de persoonlijke motivatie in het Engels worden aangeleverd. Vermeld daarnaast eventuele geplande vakanties of bijzonder verlof gedurende de opdrachtperiode.

Over DC&I

DC&I verbindt ervaren professionals met uitdagende opdrachten binnen de publieke én private sector. Onze focus ligt op data, procesverbetering en grote maatschappelijke transities, zoals de energietransitie, digitalisering van de overheid en toekomstbestendige zorg.

💭 Interesse? Reageer met je CV en gewenste uurtarief. Twijfel je of deze opdracht helemaal past? Voel je vrij om toch te reageren — we kijken graag samen naar andere passende opdrachten binnen ons netwerk.

Korte omschrijving van de organisatie