Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) zoeken we een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot wordt uitgevoerd aan de hand van een vooraf vastgesteld aantal casussen, die samen de keten van bronontsluiting tot en met ontsluiting naar de business afdekken.

De Senior Data Engineer is de inhoudelijke motor van de pilot: je bouwt de casussen daadwerkelijk en zorgt dat de betrokken ontwikkelaars uit de verschillende teams in staat zijn om zelf mee te bouwen. De werkzaamheden worden uitgevoerd onder aanwijzing en toezicht van de NVWA, binnen de kaders van het pilotplan en in afstemming met de projectleider.

Hoofdverantwoordelijkheden & Realisatie casussen:

• Inrichten en uitwerken van de pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack, en het vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen worden binnen de afgesproken doorlooptijd afgerond en opgeleverd met reproduceerbare resultaten.

Samenwerking en kennisoverdracht:

• Meenemen van ontwikkelaars uit de verschillende teams volgens het principe 'voordoen > samendoen > zelf doen'; de kennis blijft na afloop binnen de NVWA.
• Faciliteren in plaats van sturen: ruimte laten aan de teams, maar wel voortgang houden op de afgesproken mijlpalen.

Onderbouwing en oplevering:

• Vastleggen van de bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) als input voor de vervolgbesluitvorming.
• Opleveren van herbruikbare bouwblokken, configuratie als code en documentatie.
• Signaleren van risico's en knelpunten richting de projectleider, tijdig en onderbouwd.

We zoeken in de eerste plaats een ervaren, senior data engineer. Voorafgaande ervaring met exact deze open source componenten is geen vereiste. Van de professional wordt wel verwacht dat hij/zij zich op basis van vergelijkbare ervaring met moderne dataplatformen (bijvoorbeeld Databricks, Microsoft Fabric of een eigen Spark-omgeving) de stack binnen korte tijd eigen maakt en zelfstandig productief is. Affiniteit met open source en met leveranciersonafhankelijke oplossingen is een pre.

Achtergrond opdracht

• De professional heeft minimaal een afgeronde HBO opleiding of WO opleiding.
• De professional heeft minimaal 5 jaar aantoonbaar werkervaring met SQL en Python.
• De professional heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code.
• De professional heeft minimaal 10 jaar aantoonbare werkervaring in de IT.
• De professional heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Wensen

• De professional heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals spark/pyspark, databricks, fabric of gelijkwaardig.
• De professional heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer.
• De professional heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit.
• De professional heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken.
• De professional heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen.
• De professional heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving.
• De professional begrijpt de opdracht en past bij de organisatie.

Competenties

• Objectief & Pragmatisch
• Politiek bestuurlijke sensitiviteit
• Verbindend vermogen & Didactisch
• Resultaatgericht & passie

Voor de Nederlandse Voedsel- en Warenautoriteit (NVWA) zoeken we een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source dataplatform de huidige analyse- en rapportageomgeving kan vervangen.

De NVWA werkt aan de vernieuwing van haar datafundament.

Opdrachtgever: Ministerie van Economische Zaken

Optie tot verlenging: Niets over bekend.

Hybride: Geen verdere informatie

Fee: De administratieve partner rekent een aanvullende fee van € 2,50 boven op het tarief.