Senior Platform Engineer Big Data

Pas jij jouw ervaring als software engineer graag toe op infrastructuur en operationele problemen? Is automatiseren jouw tweede natuur en ben jij goed in het creëren van schaalbare en zeer betrouwbare softwaresystemen? Lees dan verder!

Als Senior Platform Engineer Big Data werk je binnen de afdeling Data Engineering samen met andere data engineers aan de big data omgeving en gedistribueerde systemen van de AIVD. Je werkt aan het ontwikkelen, beheren en optimaliseren van het big data platform van de AIVD, zodat grote hoeveelheden data veilig, efficiënt en betrouwbaar verwerkt kunnen worden. Je werkt samen met data scientists, analisten en andere engineers om innovatieve oplossingen te realiseren die bijdragen aan de nationale veiligheid. Wij werken in verschillende joint teams aan ons big data platform en maken gebruik van onder andere Hadoop en Kafka voor de verwerking van onze datastromen. Jouw taak als platform engineer is dat deze systemen en onze maatwerkprocessen zo stabiel mogelijk draaien met zo min mogelijk beheerinspanning. Je speelt een belangrijke rol in het automatiseren van traditionele beheertaken, wat zorgt voor minder kans op menselijke fouten, meer tijd vrij maakt voor innovatie en resulteert in een hoger efficiency niveau. Je werkt nauw samen met de data engineers in en buiten jouw team om ervoor te zorgen dat de ontworpen oplossing voldoet aan niet-functionele eisen zoals beschikbaarheid, prestaties, schaalbaarheid, veiligheid en onderhoudbaarheid. In goed overleg met (systeem/segment)architect(en) ben je koersbepalend voor het team bij de realisatie van technische oplossingen zoals ETL pipelines en data verwerkingsprocessen. Ook werk je samen met andere teams van met name Joint Infra die zorg dragen voor de fysieke servers en infrastructuur, om er gezamenlijk voor te zorgen dat de data pipeline zo stabiel en efficiënt mogelijk is.

Jouw taken

• Ontwerpen, bouwen en onderhouden van het big data platform.
• Automatiseren van beheer- en deploymentprocessen.
• Implementeren van beveiligingsmaatregelen en waarborgen van compliance.
• Monitoren van de performance en het oplossen van incidenten.
• Samenwerken met multidisciplinaire teams aan data-gedreven projecten.
• Realiseren van technische oplossingen zoals ETL pipelines en data verwerkingsprocessen.

Wat krijg je er voor terug?

Je komt terecht in een dynamische omgeving, in een enthousiast team dat met gedrevenheid op een professionele wijze werkt aan onze uitdagende big data omgeving. Een team dat jouw versterking hard nodig heeft, aangezien de big data omgeving steeds groter en complexer wordt. Je kunt jezelf op technisch vlak continu ontwikkelen en je komt te werken in een omgeving vol innovatie. De data die wij verwerken is van enorm belang voor onze onderzoeken en daardoor lever jij als engineer een cruciale bijdrage aan het werk van de AIVD en een veiliger Nederland.

Dit bieden we nog meer

• Naast het salaris ontvang je een Individueel Keuzebudget (IKB) van 16,50% van je bruto jaarsalaris, te besteden aan geld of tijd.
• Mogelijkheid om een deel van je maandinkomen te laten uitbetalen, om te zetten in verlof of te besteden aan fiscaal vriendelijke doelen.
• Ruimte voor persoonlijke groei en loopbaanontwikkeling met diverse studiefaciliteiten.
• Bedrijfsfitness.
• Volledige vergoeding van je OV-reiskosten woon-werkverkeer.
• Gedeeltelijk betaald ouderschapsverlof.
• Een uitdagende functie met maatschappelijke relevantie.
• Een professioneel en collegiaal team.
• Goede arbeidsvoorwaarden en een gezonde werk-privébalans.

Dit vragen wij

Jij bent in staat de complexe materie te doorgronden en uit te werken. Dit kun je tevens uitstekend uitdragen aan (junior) collega’s en je weet ook teamoverstijgend samenwerkingen te organiseren. Daarnaast heb je:

• HBO/WO werk- en denkniveau, bij voorkeur in een technische richting.
• Minimaal 3 jaar werkervaring in de rol van platform engineer of site reliability engineer.
• Ruime ervaring met big data platformen zoals Hadoop, Spark of vergelijkbaar.
• Uitstekende programmeervaardigheden in Java; kennis van programmeertalen zoals Python of Scala is een pré.
• Kennis van complexe gedistribueerde systemen op basis van Kafka, Spark en/of Flink.
• Ervaring met CI/CD, containerisatie (Docker, Kubernetes) en cloud-omgevingen.
• Bij voorkeur kennis van/ervaring met metrics-platformen zoals Grafana en Prometheus.
• Affiniteit met security en privacy.
• Goede communicatieve vaardigheden en een proactieve houding.

Voldoe je nog niet aan de functie-eisen, maar wil je wel als platform engineer aan de slag bij dit team? Ook dan nodigen we je uit om te solliciteren. We hebben namelijk ook een medior (schaal 11) positie beschikbaar, waar we je kunnen begeleiden en helpen in je ontwikkeling naar de hierboven beschreven senior functie.

Het betreft een afdeling met vacatures bij zowel de AIVD als de MIVD. Het is mogelijk dat je in dienst treedt met arbeidsvoorwaarden gebaseerd op de CAO Rijk (AIVD) of de CAO Burgerdefensie (MIVD).

Hier kom je te werken

Meer over Joint Data Exploitatie Unit, afdeling Data Engineering

De Joint Data Exploitatie Unit (JDEU) is een unit die recent opgericht is. In deze joint unit wordt er samengewerkt tussen beide I&V-diensten, dus je collega’s zijn zowel AIVD’ers als MIVD’ers.

Binnen de JDEU is de afdeling Data Engineering de afdeling die zorgt voor het innemen, verwerken en ontsluiten van data. Team Reliability Engineering & Infra binnen Data Engineering zorgt dat dit gedaan wordt in een zo stabiel en efficiënt mogelijke big data omgeving. De data is de basis voor veel van onze onderzoeken, zo leveren we een belangrijke basis voor de primaire taak van de AIVD: de veiligheid van Nederland.

Over AIVD

De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) beschermt de democratie tegen nationale en internationale dreigingen, zodat we in vrijheid kunnen leven. Als je bij de AIVD werkt ben je verbindend, wendbaar, gewetensvol en moedig. Bij de AIVD doe je werk dat er toe doet: elke minuut van de dag.

We waken, vaak onzichtbaar, over Nederland en zijn bevolking. We doen daarvoor onderzoek in binnen- en buitenland. De AIVD doet wat nodig is om te voorkomen dat staten, organisaties of personen onze rechtsstaat tegenwerken, ondergraven of aanvallen. Ons werk doen we niet alleen. De AIVD heeft zijn eigen rol in het netwerk van overheidsorganisaties die de veiligheid van Nederland beschermen.

De AIVD is onderdeel van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties. De taken van de AIVD zijn vastgelegd in de Wet op de inlichtingen- en veiligheidsdiensten (Wiv 2017).