Data Engineering: Data observability of data pipelines

Het vermogen om de kwaliteit van gegevens in het systeem te meten op basis van gegevens die het systeem genereert. Dat is Data Observability. In deze opdracht ga je onderzoeken hoe je een Data Observability het beste inricht en doe je vervolgens aanbevelingen op basis van een bestaande data pipeline.

Benodigde interesse(s)

• Data Engineering
• DataOps & DevOps
• CD/CI
• Azure Cloud

Wat krijg je

• Een uitdagende afstudeeropdracht
• Afstudeervergoeding: € 1000 bruto of € 500 bruto + leaseauto of € 600 bruto + woonruimte
• Professionele begeleiding
• Trainingen gericht op jouw afstudeertraject
• Sparren met andere afstudeerders en collega’s
• Twee vakantiedagen per maand

Wat je gaat doen

• 35% Afstudeeronderzoek
• 40% Analyseren, ontwerpen, realiseren
• 25% Documentatie

Als je in Azure een datapipeline bouwt, krijg je daar ook meteen een stukje monitoring bij. Daarmee krijg je een melding zodra iets niet werkt in je pipeline, maar het is niet altijd duidelijk waarom het niet werkt.

Data Observability is het vermogen om de kwaliteit van gegevens in het systeem te meten op basis van gegevens die het systeem genereert. Dit moet de beheerder van de data in staat stellen problemen met data op te lossen, het liefst voordat de gebruiker dit constateert. Data Observability gaat om het reduceren van het aantal fouten.

De opdracht

In deze opdracht onderzoek je wat Data Observability is en onderzoek je hoe een Data Observability het beste ingericht kan worden. Denk hierbij aan o.a. architectuur, technische richtlijnen, benodigde metrics, etc. Op basis van je onderzoek doe je aanbevelingen voor het implementeren van Data Observability voor een reeds bestaande data pipeline.

Wat biedt Info Support jou tijdens je afstudeerperiode?

Uiteraard bieden we je een uitstekend pakket aan afstudeervoorwaarden met verschillende keuzemogelijkheden. Denk hierbij aan:

• Laptop, alle benodigde tools en ontwikkelomgevingen om je opdracht succesvol uit te kunnen voeren
• Een afstudeervergoeding waarbij je de keus hebt uit:
• € 1000,- bruto per maand
• € 500,- bruto per maand + leaseauto met tankpas
• € 600,- bruto per maand + woonruimte in Veenendaal

Tijdens je afstudeerstage word je opgenomen in een van onze business units. Zo krijg je direct een goed beeld van de ontwikkelingen binnen onze projecten.

Daarnaast biedt Info Support jou:

• Een uitdagende afstudeeropdracht bij een solide, groeiend en financieel gezond bedrijf
• Professionele en ervaren begeleiding, hybride werken
• Een afstudeerprogramma met onder meer trainingen, kennisavonden, projectbezoek, activiteiten en team-, unit- en bedrijfsuitjes
• Experimenteren met nieuwe producten en releases die in de pre-releasefase zitten
• Sparren met andere afstudeerders en collegiale en gepassioneerde IT-collega’s
• Uitzicht op het IT Top Traineeship mét een vast dienstverband!

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Veenendaal (NL) en Mechelen (BE). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan. Ook dit jaar zijn we uitgeroepen tot Top Employer Nederland!

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse kenniscentrum waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.