Big Data Engineer

Maak duurzame impact bij NS door schaalbare data-oplossingen te ontwikkelen die Nederland bereikbaar houden. Werk in een dynamisch, innovatief team en breid jouw technische vaardigheden uit in baanbrekende projecten. 🚄

Daarom wil je als Big Data Engineer bij NS werken

• Duurzame impact: Je ontwikkelt schaalbare data-oplossingen die het verkeer verbeteren en Nederland bereikbaar houden.
• Innovatief team: Word onderdeel van ons jonge IoTeam, waar je met vijf Data Engineers, een Product Owner en een Scrum Master samenwerkt.
• Ontwikkelingsmogelijkheden: NS biedt een leerrijke omgeving waarin je technische vaardigheden kunt uitbreiden en toepassen in baanbrekende projecten.

Stefan: “Het leuke van dit team is dat je betrokken bent vanaf het idee tot aan het eindproduct. In welke fase we ook zitten, wij zijn erbij betrokken.”

Dit ga je doen als Big Data Engineer

Als Big Data Engineer speel je een cruciale rol binnen ons team. Je werkt samen met collega Data Engineers om geavanceerde data-oplossingen te ontwikkelen. Met jouw diepgaande kennis van Spark Structured Streaming en PySpark, draag je bij aan het ontwerp en de implementatie van schaalbare data-oplossingen die onze analytics teams in staat stellen om de beste beslissingen te nemen.

Als onderdeel van onze afdeling werk je aan het bouwen en onderhouden van real-time streaming platformen, met focus op semigestructureerde sensorische databronnen en beeldverwerking.

Je zorgt ervoor dat data betrouwbaar is en efficiënt en schaalbaar verwerkt wordt. Daarnaast voldoen de oplossingen aan de security- en privacyvereisten van NS. Het team waarin je gaat samenwerken richt zich op grote, semigestructureerde sensorische databronnen en ontwikkelt additionele diensten voor opslag en verwerking van beeldmateriaal.

Dankzij jouw doortastendheid en leergierigheid ben je van onschatbare waarde bij het:

• Achterhalen van de vraag achter de vraag waardoor je passende oplossingen kunt adviseren.
• Inrichten van de data pipeline tussen databronnen en onze analytics teams.
• Opzetten en beheren van de CI/CD pipeline waarbinnen een streaming pipeline van ontwikkeling tot productie wordt gerealiseerd.
• Bouwen in onze Azure cloud omgeving aan een fundament waarin alle streaming en sensorische databronnen ontsloten worden voor verdere analyses.

Hier ga je werken

Welkom in de wereld van ‘DIA’ – Data, Innovatie & Analyse bij NS! DIA telt op dit moment ruim 300 medewerkers. Op het hoofdkantoor in Utrecht bij het Centraal Station, en gedeeltelijk hybride vanuit huis, bundelen collega’s hun krachten. Een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. Binnen DIA werken wij Agile in Scrum teams om samen kwalitatief hoogwaardige en innovatieve oplossingen, platformen en dataproducten te ontwikkelen en onderhouden. Onze analytics teams kunnen hierdoor snel en betrouwbaar inzichten genereren om tot juiste acties te komen.

Jij wordt onderdeel van het team IoTeam. Dit team bestaat uit vijf Data Engineers, een Product Owner en een Scrum Master.

Bij NS vinden we diversiteit en inclusie belangrijk, het maakt samenwerken leuker en het resultaat wordt er ook nog beter van. Wat jouw achtergrond of levensovertuiging is, maakt dan ook niet uit: we zijn vooral benieuwd naar jou als persoon en wat jij meebrengt naar als Big Data Engineer.

Dit zijn de functie-eisen

Wij weten dat er geen schaap met vijf poten bestaat. Zie je jezelf in deze vacature, maar voldoe je niet aan alle indicaties? Twijfel niet om te reageren of contact op te nemen, vooral als je de ambitie hebt om je verder te ontwikkelen.

• Je hebt als Big Data Engineer minimaal 3 jaar ervaring met Spark Structured Streaming en hoog volume dataverwerking.
• Je hebt minimaal 3 jaar ervaring met Python en PySpark, het bouwen van CI/CD pipelines, geautomatiseerd testen en Infrastructure-as-Code.
• Je hebt ervaring met Java en/of Scala, Microsoft Azure en Databricks, Azure DevOps, Terraform en/of Bicep en OpenTofu, Kafka, AMQP, RabbitMQ en/of Event Hub.
• Je hebt een actueel en relevant inzicht in de technologische ontwikkelingen binnen dit domein en zet je jouw expertise graag in om innovatieve oplossingen en platformen te bouwen?
• Je bent een zelfstarter die graag werkt in een Agile omgeving met een jong en gedreven team?
• Je hebt een waarde- en organisatie gedreven mindset waardoor je in staat bent om wensen te vertalen naar duurzame oplossingen.
• Je kunt goed samenwerken en bent in staat om samen met je collega’s een goed product neer te zetten.
• Je beheerst de Nederlandse taal uitstekend, zowel in woord als geschrift.

Bij NS vinden we het belangrijk dat we elkaar durven aanspreken en ons altijd kunnen uitspreken. We zoeken collega’s met lef, die open staan voor verandering. Voor deze functie ligt de nadruk op proactief handelen. Dit betekent dat je zelfstandig initiatief neemt, zelfs bij onvolledige informatie, en actief bijdraagt aan verbeteringen binnen je team en de business.