Data Engineer

Voor de Algemene Rekenkamer zijn wij op zoek naar een Data Engineer

Achtergrond opdracht
Het programma doorontwikkeling begrotings- en verantwoordingscyclus wil meer inzicht bieden in de overheidsfinanciën in onze rapporten van het verantwoordingsonderzoek.Het gaat dan bijvoorbeeld om meerjarenoverzichten van de verandering van uitgaven aan verschillende beleidsonderwerpen (beleidsmatige mutaties).Hiervoor zal informatie uit rijksbegrotingen geput (gescrapt) moeten worden en verwerkt tot betrouwbare overzichten.

Opdrachtomschrijving
De Algemene Rekenkamer wil tabellen met ‘grootste beleidsmatige geldmutaties’ voor alle departementale verantwoordingsonderzoeken in het voorjaar van 2025.De hoofdopdracht is om de werkende code voor de Extract en Transform modules van de dataverwerking (ETL) aan te leveren.De Extract module moet bestaan uit een configureerbare scraper voor data over beleidsmatige mutaties uit verschillende open bronnen van de rijksoverheid.Het uit te voeren werk aan de Transform module bestaat uit het ontwerpen van een gestandaardiseerd formaat voor data over beleidsmatige mutaties en het transformeren van de data uit de scrapers naar dit formaat.Tenslotte verwerk je de gestandaardiseerde data naar een tabellen per begrotingshoofdstuk met de ‘grootste beleidsmatige mutaties’. Je bent gedurende je opdracht een sparringspartner voor het ontwikkelteam van een relationele database voor financiële overheidsdata.Doel is om voor het plannen van het verantwoordingonderzoek mee te denken over het geautomatiseerd aanleveren van data voor grote financiële mutaties voor het verantwoordingsonderzoek 2026 en verder.

Resultaatgebied & Verantwoordelijkheden
Algemeen: Voor het programma doorontwikkeling begrotings- en verantwoordingscyclus (BV-cyclus) zoeken we een dataengineer die goed thuis is in het scrapen en opschonen van data.Kennis op het gebied van overheidsfinanciën is een pre. Vereisten: ervaring met Python, het bouwen en testen van ETLs, en scrapen van informatie.Op te leveren resultaten:

1. Je levert voor alle departementale verantwoordingsonderzoeken (VO) een tabel met ‘grootste beleidsmatige mutaties’ op in het voorjaar van 2025. Deze stem je vanaf eind 2024 af met VO-teams en directeuren o.l.v. het programma doorontwikkeling BV-cyclus.
2. Je maakt hiervoor gebruik van de informatie uit departementale begrotingen en bij bijbehorende memories van toelichting, die je verwerft en verwerkt via de op te leveren Extract en Transform modules.
3. Je levert deze modules op. Deze zijn geschreven in op in Python, zijn inclusief unittests en integratietest, technische documentatie, functionele documentatie en maken gebruik van poetry, pytest, mypy, flake8 and black.

Je combineert deze data met andere gescrapte informatie en de verwerkte data is herleidbaar tot de bron. Kortom beleidsmutatiedata waarop teams binnen de Algemene Rekenkamer kunnen vertrouwen.

Vakmatige taken
– Programmeren in Python, bouwen ET(L), scrapen van informatie van websites.– Meedenken over het duiden van financiële informatie van de rijksoverheid.

Coördinerende / sturende taken
Je stuurt geen medewerkers aan, maar stemt wel geregeld af binnen de Algemene Rekenkamer inzake de data.

Eisen
– Python – Lever een hoog-over plan voor de op te leveren ET(L).– Bewijs competentie met Python middels het aanleveren van een kort stuk code die de eerste 1814 resultaten van deze query ophaalt; https://gegevensmagazijn.tweedekamer.nl/OData/v4/2.0/Document?$filter=Soort%20in%20(%27Bijlage%27)

Wensen
– Enkele jaren werkervaring als data-engineer– Overheidsfinanciën (pré)

Competenties
– Bestuurlijk afstemmen– Bouwen van datapijplijnen– Scrapen van informatie

Geïnteresseerd en match je op de functie-eisen en competenties?
Stuur ons dan je CV en een motivatie waarin je ingaat op de gestelde eisen via m.jlil@ormer.nl