Data Platform Engineer

Functie­omschrijving

Het NCSC is een sterk datagedreven organisatie: wij verzamelen, analyseren, onderzoeken, verrijken en verspreiden data en informatie. Informatie en dataverwerking vormen daarmee de kern van onze activiteiten. De waarde en kwaliteit van onze producten en diensten hangen direct samen met de toegankelijkheid en kwaliteit van data. De manier waarop wij data verwerken en omzetten bepaalt de kwaliteit van het handelingsperspectief dat wij onze doelgroeporganisaties en partners kunnen bieden.

Het Data & Analytics (D&A) team binnen het NCSC speelt hierin een cruciale rol. Het team is verantwoordelijk voor het ontwikkelen van nieuwe digitale dataproducten, zoals NCSC’s dataplatform, ML/AI modellen en kanalen voor het snel en veilig delen van cyber informatie met afnemers en partners.

Wat ga je doen?

Als Data Platform Engineer werk je op het snijvlak van data en DevOps en speel je een cruciale rol in het beheer en de doorontwikkeling van ons dataplatform. We verzamelen en verwerken grote hoeveelheden databronnen volledig geautomatiseerd, met behulp van tools zoals Dagster, dbt en ClickHouse. Jouw expertise in Python en SQL helpt ons om deze processen soepel en efficiënt te laten verlopen.

Ons platform draait volledig op cloud-native technologieën, die we zelf beheren met onder andere Kubernetes en Docker. Of het dataplatform nu in de cloud of on-premise draait, zou voor jou niet uit moeten maken – jij voelt je comfortabel in beide omgevingen en weet hoe je systemen stabiel, schaalbaar en beschikbaar houdt.

Je komt in een team waarmee je hoofdzakelijk de gedeelde verantwoordelijkheid draagt voor het stabiel houden, optimaliseren en uitbreiden van ons dataplatform. Als vast teamlid werk je ook nauw samen met diverse teams binnen de organisatie die data uit ons platform gebruiken, of juist data in ons platform willen krijgen. Jij ondersteunt hen bij het ontsluiten, verwerken en benutten van data, zodat zij waardevolle inzichten kunnen verkrijgen. De kwaliteit en toegankelijkheid van onze data zijn direct van invloed op de impact die wij kunnen maken. Daarom is jouw werk essentieel voor het bieden van betrouwbare en bruikbare data-oplossingen.

Een greep uit jouw werkzaamheden:

• Een datamodel in ons dbt-project leidt tot een enorme resource consumption, waardoor een Dagster-job faalt. Je duikt in onze monitoring- en loggingstack en probeert te lokaliseren wat er aan de hand is. Samen met de Data Scientist die de query heeft geschreven probeer je tot een oplossing te komen.
• Een externe databron die wij elke nacht binnenhalen heeft de structuur van hun JSON aangepast, waardoor de data niet meer wordt binnengehaald. Dit los je op door de schemawijzigingen door te voeren in de respectieve tools.
• Een open-source tool die we gebruiken komt met een nieuwe versie. Je leest de changelogs op hun website en kijkt of er eventuele breaking changes zijn. Je test deze nieuwe release grondig op onze test- en acceptatieomgeving alvorens het door te pushen naar productie.

Functie-eisen

Wie ben jij?

Jij bent gedreven om jouw bijdrage te leveren aan de digitale veiligheid van Nederland. Je denkt graag op een creatieve wijze na over nieuwe kansen en oplossingen. Je bent nieuwsgierig en in staat om nieuwe inzichten uit data te halen die richting geven aan doorontwikkeling of vervolganalyse.

Verder beschik je over:

• Hbo- werk- en -denkniveau in Informatica, data-engineering of een verwant veld.
• Aantoonbare ervaring met Python, SQL en het schrijven van complexe queries.
• Ervaring met CI/CD-tools, GIT en DevOps-way-of-working.
• Ervaring met container images (Docker) en Kubernetes.
• Sterke probleemoplossende vaardigheden en aandacht voor detail.
• Goede communicatievaardigheden en een teamspelermentaliteit.