Data Engineer

Voor deze inhuuropdracht als Data Engineer ontwikkel en beheer je end-to-end datamigratie-, verwerkings- en opslagprocessen.

Dit ga je doen

Binnen Team MENA bestaat de behoefte aan het automatiseren van data orkestratie en workflow scheduling ter ondersteuning van diverse integrale dataprocessen. Deze opdracht richt zich op het opzetten van een betrouwbare, schaalbare en volledig geautomatiseerde data pijplijnomgeving, waarbij verschillende cloud databronnen naadloos met elkaar worden geïntegreerd en beheerd via Azure Data Factory (ADF).

Achtergrond:

Binnen het team ontbreekt de diepgaande expertise in Azure Data Factory en de integratie van relevante Azure dataopslagdiensten. Dit belemmert de tijdige en correcte implementatie van geautomatiseerde workflow en data orkestratie. Externe specialistische kennis is daarom noodzakelijk.

Werkzaamheden:

• Opleveren van een schaalbare en veilige data orkestratie-omgeving via ADF met geautomatiseerde workflow scheduling.
• Data integratie van verschillende cloud databronnen met geoptimaliseerde datatransformaties.
• Inrichting en beheer van data opslag in Azure CosmosDB, Azure Blob Storage en Azure Data Lake Storage.
• Voldoen aan AVG-compliance eisen, essentieel voor het OV-betalen project.
• Testen, valideren en optimaliseren van data pijplijnen.
• Documentatie, kennisdeling en overdracht aan het interne team.

Hier ga je werken

Het MENA Team werkt aan de ontwikkeling en het beheer van een aantal nieuwe softwarecomponenten ter ondersteuning van OV-pay en daarnaast verschillende MaaS initiatieven. Het betreft generieke software backoffice componenten welke draaien in de Azure cloud. Middels deze componenten worden o.a. Order 2 Delivery, NMS en Plannen, Boeken en Betalen processen mogelijk gemaakt voor onze klanten. Het betreft een team dat de verantwoordelijkheid heeft voor de gehele product lifecycle. Naast het ontwikkelen wordt ook het beheer vanuit dit team opgepakt.

Wie zijn MENA Team MaaS Enabling?

MENA Team MaaS Enabling is een team (ontwikkelteam) binnen de ComIT RC Kern vanuit Utrecht (met de woensdag als vaste kantoordag). In het team zitten professionals die het leuk vinden om naast het ontwikkelen en beheren van eigen (software) producten, producten en systemen van NS en haar partners met elkaar te kunnen laten communiceren.

Dit zijn de eisen

• Minimaal Hbo werk- en denkniveau.
• Aantoonbaar minimaal 5 jaar ervaring met Azure Data Factory (ADF) en workflow scheduling.
• Minimaal 3 jaar aantoonbare ervaring met Snowflake.
• Praktijkervaring met Azure CosmosDB, Blob Storage en Data Lake Storage.
• Kennis van AVG-compliance in data workflows.
• Communicatief vaardig en ervaren in kennisoverdracht.
• Proactief, oplossingsgericht en bekend met complexe data-omgevingen.
• Uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal.
• Bij voorkeur ervaring in publieke sector of OV-gerelateerde projecten.