Data Ingestion Engineer

Nederlandse Spoorwegen zoekt een Data Ingestion Engineer.

Dit ga je doen

Als Data Ingestion Engineer ben je geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van het platform. De focus ligt op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jouw Python programmeerskills en ervaring met data-ingestie draag je bij aan een solide, gestandaardiseerde achterzijde die data valideert en als betrouwbaar product aanbiedt.

• Je ontwikkelt met Python de core services van het data-ingestieplatform, inclusief generieke componenten voor patronen zoals API en FTP en het implementeren van data push-principes, bijvoorbeeld endpoints voor bronnen.
• Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat een betrouwbare bron- en zilverlaag wordt aangeboden in Databricks in plaats van enkel ruwe bestanden.
• Je werkt met RDBMS, bijvoorbeeld Postgres, voor efficiënte opslag van dataconfiguraties.
• Je gebruikt containers in Azure Container Apps om pipelines in te draaien.
• Je ontwerpt en bouwt API's.

Dit zijn de eisen

• Minimaal hbo werk- en denkniveau.
• Minimaal 3 jaar ervaring in een soortgelijke rol.
• Ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
• Werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.
• Hands-on ervaring met Azure, waaronder Function Apps, Container Apps en ADLS Gen2, en met schaalbare microservice-architecturen.
• Ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.
• Ervaring met Databricks of Snowflake en bekendheid met OTF.
• Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.
• Kritisch en doortastend, met het vermogen om verbeteringen te realiseren.
• Je overziet het grotere geheel en lost problemen graag structureel op.
• Ambitieuze en collegiale teamspeler.

Wensen

• Het is een pre als je ervaring met Databricks of Snowflake hebt en bekend bent met OTF.
• Bij voorkeur heb je werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.