Senior Data Ingestion Engineer

Data speelt een hoofdrol in al onze processen en is volop in beweging. Bijvoorbeeld het krijgen van de juiste reisinformatie, of het veilig laten rijden van de treinen. Vanaf het hoofdkantoor in Utrecht en vanuit huis werken veel collega´s achter de schermen om dit voor elkaar te krijgen.

Senior Data Ingestion Engineer bij NS

Dit is waarom jij als Senior Data Ingestion Engineer bij NS wil werken

• Miljoenen reizigers vertrouwen op onze technologie
• Samen met je scrumteam bouw je aan een groot dataplatform
• Je bent kritisch, levert verbetervoorstellen en helpt deze te realiseren
• Met innovatieve ideeën werk je mee aan een data gedreven NS

De NS strategie is ‘Nederland duurzaam bereikbaar voor iedereen’. Belangrijke pijlers zijn het netwerk van de toekomst, stations als knooppunt van mobiliteit en leefbaarheid, flexibel en veelzijdig reizen met de NS-app. Flexibel en veelzijdig reizen betekent dat NS transformeert van treinbedrijf naar breed mobiliteitsbedrijf en duurzame deur-tot-deur reizen voor iedereen beschikbaar maakt. Data speelt een hoofdrol in al onze processen en is volop in beweging. Bijvoorbeeld het krijgen van de juiste reisinformatie, of het veilig laten rijden van de treinen. Vanaf het hoofdkantoor in Utrecht en vanuit huis werken veel collega´s achter de schermen om dit voor elkaar te krijgen. Jij hebt als Senior Data Ingestion Engineer een belangrijke rol in het neerzetten van een “Data gedreven NS” waarmee de organisatie de juiste beslissingen kan maken.

Dit ga je doen als Senior Data Ingestion Engineer

Je maakt deel uit van het DevOps platformteam binnen de afdeling DIA (Data, Innovatie & Analyse) in het cluster Endpoints. Op dit platform worden door onze afnemers slimme dataoplossingen voor en door de NS ontwikkeld, zoals de Zitplaatszoeker. Als Senior Data Ingestion Engineer ben jij de technische ruggengraat van het Team Lakehouse. Je bent geen traditionele data engineer die enkel pipelines bouwt. Jij ontwerpt, bouwt en onderhoudt het schaalbare en robuuste platform waarop al onze data-ingestie draait. Je slaat de brug tussen software engineering en data engineering om onze huidige processen te transformeren van een verzameling losse scripts naar een centraal, productwaardig ingestieplatform. Daarnaast speel je een cruciale rol in het realiseren van de "Bronnen Zetten Data Klaar" visie door een solide, gestandaardiseerde 'achterkant' te bouwen die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt.

Wat ga je concreet doen?

• Het team: binnen het team ben je kritisch en neem je gedeelde verantwoordelijkheid voor resultaten. Je neemt het team op sleeptouw en zorgt ervoor dat jouw expertise wordt gedeeld binnen het team. Feedback geef je gevraagd en ongevraagd. En krijg jij feedback, dan zie je dat als een kans om te groeien. Je bent communicatief, flexibel, snel van begrip en kan goed omgaan met deadlines en tijdsdruk.
• Architectuur & Design: Je helpt bijvoorbeeld mee met het neerzetten van een push data service, bij het ontsluiten van bronnen op de meest efficiënte manier en bij het proactief meedenken over tooling, networking en containers.
• Platform Bouwen: Je bouwt met Python de core services van ons nieuwe ingestieplatform. Dit omvat het ontwikkelen van generieke componenten voor verschillende ingestiepatronen (API, FTP, Service Bus, Eventhub) en het implementeren van de data push-principes, zoals het optuigen van een Endpoint waar bronnen hun data naar kunnen pushen.
• Productization van Data: Je zorgt ervoor dat we stoppen met het 'as-is' doorgeven van bestanden. Je implementeert de logica voor validatie, versioning en metadata-management, waardoor we een betrouwbare 'bronze layer' kunnen aanbieden.
• Automatisering (IaC): Je zet je diepgaande kennis van Terraform in om de volledige infrastructuur van het ingestieplatform als code te verbeteren. Dit maakt het uitrollen van nieuwe pipelines en het doorvoeren van wijzigingen (zoals initial loads) voorspelbaar en efficiënt.
• Self-Service Verbeteren: Je werkt aan de backend van de webapplicatie om deze daadwerkelijk nuttig te maken. Je bouwt de API's die nodig zijn om de status van runs te tonen, retries mogelijk te maken en de complexiteit van API-ingestie (zoals paginering) voor data-teams te abstraheren.
• Technisch Leiderschap: Als senior in het team geef je advies in technische discussies, begeleid en help je je mede-collega’s in het opdoen van nieuwe en benodigde kennis en ben je een betrouwbaar sparringpartner in alles ‘Ingestion’ gerelateerd.

Hier ga je werken

Op loopafstand van station Utrecht Centraal bundelen ruim 300 collega´s van de afdeling DIA (Data, Innovatie & Analyse) hun krachten. Hier werkt een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. Als Senior Data Ingestion Engineer ben je onderdeel van een scrumteam, maar overleg je ook veel met collega’s uit andere vakgebieden. Kortom, we zoeken een echte teamplayer! Ons hoofdkantoor in Utrecht, naast het station, is jouw thuisbasis op vaste teamdagen en andere dagen werk je vanuit huis.

Dit zijn de eisen

Dit neem je mee aan Kennis & Ervaring:

Must-haves:

• 5-10 jaar ervaring als Software Engineer, Platform Engineer of Data Engineer met een zeer sterke software achtergrond.
• Expert in Python: Je bent een expert in het bouwen van robuuste, schaalbare en onderhoudbare applicaties en services in Python.
• Cloud & Architectuur: Diepgaande, hands-on ervaring met Azure. Je kent de nuances van services als Function Apps, Azure Container Apps, Service Bus, Event Hubs en ADLS Gen2. Je denkt in ecosystemen en schaalbare (micro)service-architecturen.
• Containerisatie: Je hebt ruime ervaring met Docker, Kubernetes of vergelijkbare orchestrators zoals Azure Container Apps om applicaties schaalbaar en geïsoleerd te kunnen draaien.
• Infrastructure as Code (IaC): Terraform heeft voor jou geen geheimen. Je bouwt en beheert infrastructuur geautomatiseerd.
• API Design: Ervaring met het ontwerpen en bouwen van (RESTful) API's en bij voorkeur ook met concepten als gRPC/Protobuf.
• Databases: Ervaring met RDBMS zoals Postgres en data migraties.

Sterke pré's:

• Open Table Formats: Kennis van en ervaring met Delta Lake of Iceberg is een grote pré.
• Data Processing: Ervaring met data-intensieve libraries zoals pyArrow.
• Azure Networking: Een solide begrip van netwerkconcepten binnen Azure om veilige en performante dataverbindingen op te zetten.
• Frontend: Kennis van en ervaring met typescript & nextJs.
• Security: Bijvoorbeeld kennis van Oath
• Tooling stack: Ervaring met protobuf, gRPC, sqlc
• Coachende vaardigheden; graag voorbeelden geven op het voorblad.

Wie ben jij?

• Je bent een "platformdenker" die het grotere geheel ziet.
• Je wordt enthousiast van het oplossen van complexe, systemische problemen en bouwt liever de machine die de pipelines maakt, dan 100 losse pipelines met de hand.
• Je bent pragmatisch,
• communicatief sterk en in staat om technische concepten uit te leggen aan minder technische stakeholders en aan je directe collega’s.
• Je bent een bouwer die niet terugdeinst voor complexe uitdagingen en de drive heeft om het bestaande landschap fundamenteel te verbeteren.

Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen (WW, WAO, WIA en ZW) worden afgedragen. Deze opdracht is niet geschikt voor zelfstandig ondernemers en professionals (waaronder zzp’ers) die zichzelf uitlenen. Deze opdracht is ook niet geschikt voor de directeur-grootaandeelhouder die niet is verzekerd voor de werknemersverzekeringen. Ik verklaar dat de aangeboden kandidaat geen zelfstandig professional is, ook niet via een doorleenconstructie.

Op NS kun je rekenen

Werken bij NS betekent dat jij hét verschil kunt maken in de wereld van duurzame mobiliteit. Jij helpt mee om Nederland bereikbaar te houden, voor iedereen. Bij NS krijg je veel vrijheid. We beloven je dat geen dag hetzelfde is. De kernwaarden van NS zijn open en betrouwbaar. Wij gaan voor resultaat en willen vooruit.