Afstudeeropdracht in Data Engineering: From notebooks to applications

Python notebooks wordt veel gebruikt, maar heeft veel nadelen. Onderzoek tijdens deze opdracht aan de hand van best-practices hoe je met Python op Apache Spark ETL jobs kan maken. Het resultaat van deze opdracht gaat medebepalen of we afscheid gaan nemen van Python notebooks.

Benodigde interesse(s)

• Data engineering
• Software ontwikkeling met Python
• DevOps
• Azure Cloud

Wat krijg je

• Een uitdagende afstudeeropdracht
• Afstudeervergoeding: € 1000 bruto of € 500 bruto + leaseauto of € 600 bruto + woonruimte
• Professionele begeleiding
• Trainingen gericht op jouw afstudeertraject
• Sparren met andere afstudeerders en collega’s
• Twee vakantiedagen per maand

Wat je gaat doen

• 35% Afstudeeronderzoek
• 40% Analyseren, ontwerpen, realiseren
• 25% Documentatie

Data engineers werken met verschillende tools om systemen te bouwen die ruwe data verzamelen, beheren en transformeren in bruikbare informatie. Databricks en Azure Synaps Analytics zijn voorbeelden van relatief nieuwe oplossingen die veel gebruikt worden in een cloud-based data platform. Development wordt binnen deze oplossingen gedaan met notebooks. Een notebook is een web-based interface voor een document met uitvoerbare code, visualisaties en documentatie. Het werken met notebooks biedt zeker voordelen. Lokale installaties zijn bijvoorbeeld overbodig, je kan documentatie en code mixen en je hebt built-in support voor visualisaties. Er zijn echter ook nadelen. Voorbeelden daarvan zijn:

• Een cluster/compute is nodig om te kunnen ontwikkelen (startup time, kosten, etc.)
• Een cluster bevat modules welke lokaal niet te installeren zijn (code is dus enkel bruikbaar op één environment)
• Geen support voor debugging (print statements niet meegerekend)
• Geen linting
• Geen auto-formatting
• Geen support voor tests
• Slechte support voor monitoring

Kortom, het volledig toepassen van DevOps principes (automatisering, monitoring, testen, deployment) zoals dat kan bij een reguliere software applicatie is niet mogelijk wanneer enkel gewerkt wordt met notebooks.

De opdracht

Onderzoek hoe je op basis van best-practices met Python op Apache Spark ETL jobs kan maken, zodat we afscheid kunnen nemen van onze huidige werkwijze met Python notebooks. Denk hierbij aan oplossingen voor vragen als:

• Hoe gaan we ETL jobs testen met unit-tests?
• Hoe gaan we om met deployment van jobs?
• Hoe kun je lokaal je job debuggen?

Maak vervolgens op basis van een praktijkcase een Proof of Concept om te bewijzen dat de onderzochte concepten werken. Beschrijf tot slot de werkwijze en geef een advies hoe we onze bestaande notebooks kunnen omzetten naar jobs.

Wat biedt Info Support jou tijdens je afstudeerperiode?

Uiteraard bieden we je een uitstekend pakket aan afstudeervoorwaarden met verschillende keuzemogelijkheden. Denk hierbij aan:

• Laptop, alle benodigde tools en ontwikkelomgevingen om je opdracht succesvol uit te kunnen voeren
• Een afstudeervergoeding waarbij je de keus hebt uit:
• € 1000,- bruto per maand
• € 500,- bruto per maand + leaseauto met tankpas
• € 600,- bruto per maand + woonruimte in Veenendaal

Tijdens je afstudeerstage word je opgenomen in een van onze business units. Zo krijg je direct een goed beeld van de ontwikkelingen binnen onze projecten.

Daarnaast biedt Info Support jou:

• Een uitdagende afstudeeropdracht bij een solide, groeiend en financieel gezond bedrijf
• Professionele en ervaren begeleiding, hybride werken
• Een afstudeerprogramma met onder meer trainingen, kennisavonden, projectbezoek, activiteiten en team-, unit- en bedrijfsuitjes
• Experimenteren met nieuwe producten en releases die in de pre-releasefase zitten
• Sparren met andere afstudeerders en collegiale en gepassioneerde IT-collega’s
• Uitzicht op het IT Top Traineeship mét een vast dienstverband!

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Veenendaal (NL) en Mechelen (BE). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan. Ook dit jaar zijn we uitgeroepen tot Top Employer Nederland!

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse kenniscentrum waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.

B2-taalvaardigheid in het Nederlands is vereist.