Als Data Scientist (GenAI / Chatbot) ken je de geheimen van het optimaal laten presteren van AI-assistenten.

Je werkt op het snijvlak van data, engineering en productdenken, en helpt de kwaliteit en effectiviteit van chatbotsystemen te verbeteren. In plaats van fundamentele modellen te bouwen, ligt jouw focus op het begrijpen van chatbotgedrag, het identificeren van zwakke punten en het vertalen van inzichten naar zinvolle verbeteringen.

Je helpt een fundamentele vraag te beantwoorden:

Waarom doet deze chatbot niet wat we verwachten, en welke context of structuur heeft het nodig?

Je beoordeelt huidige oplossingen tegen state-of-the-art benaderingen en stimuleert innovatie op het gebied van retrieval, generatie, redeneringsloops, tool calling en gerelateerde GenAI-mogelijkheden.

Verantwoordelijkheden:

• Analyseer chatbotuitvoer en identificeer de verbeteringen met de grootste impact.
• Diagnosticeer contextgaten en bepaal welke aanvullende informatie agents nodig hebben.
• Werk samen met productmanagers en engineers om evaluatiecriteria voor agentprestaties te definiëren.
• Werk direct samen met use-case teams en stakeholders om real-world scenario's te begrijpen en feedback te vertalen naar verbeteringen.
• Verbeter retrievalmechanismen, datastructurering en onboarding van contextuele bronnen.
• Ontwerp evaluatiekaders die snelle, grootschalige experimenten en continue innovatie mogelijk maken.
• Vertaal functionele vereisten naar uitvoerbare technische verbeteringen.

Deze rol is ideaal voor iemand die graag wil begrijpen waarom AI-systemen zich gedragen zoals ze doen en hoe ze kunnen worden verbeterd. Je geniet van het debuggen van niet alleen code, maar ook gedrag. Je denkt structureel, legt verbanden en hebt een sterke intuïtie voor hoe goede prestaties eruitzien.

• Je beschikt over een sterke analytische mindset en een passie voor het begrijpen waarom AI-systemen zich gedragen zoals ze doen.
• Sterk begrip van GenAI-systemen.
• Ervaring met LLM-gebaseerde applicaties.
• Ervaring met retrieval-augmented systemen.
• Sterk begrip van prompts, contextvensters, retrieval en grounding.
• Vermogen om outputkwaliteit te evalueren en uit te leggen waarom resultaten effectief of ineffectief zijn.
• Bekendheid met API-integraties, batchsynchronisatie en gestructureerde en ongestructureerde data.
• Comfortabel in nauwe samenwerking met engineers.
• Vermogen om problemen met datastroom en contextingestie op te lossen.
• Vermogen om evaluatiekaders te ontwerpen die verder gaan dan traditionele machine learning-metrics.
• Begrip van functionele context en gebruikersgedrag.
• Vermogen om effectief te opereren tussen engineering- en productdomeinen.
• Vermogen om contextgaten en redenering uit te leggen aan engineers, productmanagers en stakeholders.
• Vermogen om duidelijke en effectieve verbeteringsvoorstellen te creëren.

Wensen

• Achtergrond in human-in-the-loop evaluatie.

Rabobank

The process consists of an initial one-hour interview with two of our Data Scientists to assess your technical skills, followed by a 30-minute conversation with the teammanager to evaluate team fit.

Optie tot verlenging: Verlenging is mogelijk na 6 maanden.

Hybride: Thursday in office (Location Winthontlaan, Utrecht until further notice)

Fee: De administratieve partner rekent een aanvullende fee van € 2,50 boven op het tarief.

Overig algemeen:

Language: English