Magnet.me - Het slimme netwerk waar studenten en professionals hun stage of baan vinden.
Het slimme netwerk waar studenten en professionals hun stage of baan vinden.
Data Ingestion Engineer
Bouw aan je carrière op Magnet.me
Maak een profiel aan en ontvang slimme aanbevelingen op basis van je gelikete vacatures.
Nederlandse Spoorwegen zoekt een Data Ingestion Engineer.
Dit ga je doen
Als Data Ingestion Engineer ben je geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van het platform. De focus ligt op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jouw Python programmeerskills en ervaring met data-ingestie draag je bij aan een solide, gestandaardiseerde achterzijde die data valideert en als betrouwbaar product aanbiedt.
- Je ontwikkelt met Python de core services van het data-ingestieplatform, inclusief generieke componenten voor patronen zoals API en FTP en het implementeren van data push-principes, bijvoorbeeld endpoints voor bronnen.
- Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat een betrouwbare bron- en zilverlaag wordt aangeboden in Databricks in plaats van enkel ruwe bestanden.
- Je werkt met RDBMS, bijvoorbeeld Postgres, voor efficiënte opslag van dataconfiguraties.
- Je gebruikt containers in Azure Container Apps om pipelines in te draaien.
- Je ontwerpt en bouwt API's.
Dit zijn de eisen
- Minimaal hbo werk- en denkniveau.
- Minimaal 3 jaar ervaring in een soortgelijke rol.
- Ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
- Werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.
- Hands-on ervaring met Azure, waaronder Function Apps, Container Apps en ADLS Gen2, en met schaalbare microservice-architecturen.
- Ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.
- Ervaring met Databricks of Snowflake en bekendheid met OTF.
- Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.
- Kritisch en doortastend, met het vermogen om verbeteringen te realiseren.
- Je overziet het grotere geheel en lost problemen graag structureel op.
- Ambitieuze en collegiale teamspeler.
Wensen
- Het is een pre als je ervaring met Databricks of Snowflake hebt en bekend bent met OTF.
- Bij voorkeur heb je werkervaring bij een soortgelijke organisatie als NS, met minimaal 5000+ werkplekken.
Werken bij GreenPepper betekent veel meer dan recruitment. Je bent recruiter, accountmanager en consultant in één. Kandidaten weten ons al te vinden, waardoor jij je kunt focussen op gesprekken, relatieopbouw en het maken van de perfecte match. Met veel vrijheid, verantwoordelijkheid en een hecht team werk je dagelijks aan nieuwe kansen, interessante professionals en je eigen ontwikkeling. Hard werken, veel leren en vooral veel plezier maken.