Als Senior Data Engineer speel je een cruciale rol in de transformatie van RET naar een volledig datagedreven organisatie. Wat deze rol echt bijzonder maakt, is de directe impact die jouw werk heeft op de business, zoals de operationele efficiëntie van ons vervoersnetwerk en een toekomstbestendig dataplatform.
Je draagt bij aan het ontwikkelen van datagedreven processen voor de verschillende domeinen zoals assetmanagement, P&O en finance. Je gebruikt hierbij cloud-native oplossingen en geautomatiseerde data quality control mogelijkheden binnen Microsoft Fabric.
Je bent verantwoordelijk voor het implementeren en opleveren van oplossingen voor het ontsluiten, verwerken en dimensioneel modelleren van gestructureerde en ongestructureerde databronnen, conform de architectuur en designstandaarden van het Data Office. Je werkt hierbij samen met de andere data engineers binnen het Data Office in een agile werkomgeving. Daarnaast werk je nauw samen met de lead data platform engineer en solution architect, data analisten en andere stakeholders binnen de business units om innovatieve en robuuste oplossingen te realiseren die onze bedrijfsdoelen ondersteunen.
Je bent gewend om zelfstandig en zorgvuldig op te leveren in een complexe omgeving, met uiteenlopende bronsystemen, afhankelijkheden en stakeholders. Je brengt je kennis en ervaring in waarmee we het CREDO platform verder kunnen doorontwikkelen met nieuwe functionaliteit en verbeterde performance, je speelt een actieve rol in constructieve discussies binnen Data Office en je deelt actief je kennis met de andere data engineers.
Eindresultaat
De professional realiseert de verdere ontwikkeling van het operationele CREDO-dataplatform door de implementatie van één of meer overeengekomen roadmaponderdelen, passend binnen de doelarchitectuur en de doorontwikkeling van het platform. Daarnaast omvat het resultaat werkende en gedocumenteerde datapipelines, het opzetten van PySpark-notebooks en het ontwerpen en bouwen van datamodellen, ten behoeve van de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.
De functie
Je taken bestaan uit o.a.:
- Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de roadmap.
- Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen.
- Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie- en kostenoptimalisatie.
- Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen, ook in complexe bronlandschappen.
- Uitvoeren en implementeren van data quality framework en checks op datasets gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te waarborgen, en implementeren van data cleansing processen om bekende datakwaliteitsproblemen op te lossen.
- Structureren en managen van SQL datawarehouse met een focus op Azure SQL Database en Fabric Database.
- Samenwerken met data analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
- Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment processen, inclusief integratie van quality en security controles.
- Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews en zorgen voor documentatie en monitoring van de opgeleverde oplossingen.
- Inbrengen en borgen van je expertise en ervaring binnen het Data Office team. Coachen van andere data engineers om hen zowel individueel als het team naar een hoger plan te trekken.