LLMOps Engineer – Sovereign AI Platform
Build your career on Magnet.me
Create a profile and receive smart job recommendations based on your liked jobs.
Wil jij als founding engineer een eigen LLM-platform neerzetten, op infrastructuur die volledig in eigen beheer is? Als LLMOps Engineer – Sovereign AI Platform bepaal jij hoe open-weight modellen worden geserved, hoe de GPU-omgeving schaalt en wat het kost. Greenfield, senior en hybride in regio Amsterdam.
Over deze uitdaging
Onze opdrachtgever is een grote, internationale organisatie die een eigen soeverein platform bouwt om large language models op eigen infrastructuur te draaien, zonder afhankelijkheid van externe API's. Als founding engineer van een nieuw team ben jij eigenaar van hoe dat platform draait: model serving, GPU-orchestratie, observability en kosten. Het platform is greenfield, dus jij bepaalt de keuzes die ertoe doen.
Wat ga je doen
- OpenAI-compatibele inference servers opzetten en tunen op Kubernetes (vLLM, waar nodig SGLang of TensorRT-LLM)
- De GPU-omgeving beheren: NVIDIA GPU Operator, MIG/time-slicing en autoscaling met Karpenter
- Observability op tokenniveau (TTFT, latency, KV-cache) in Grafana, met SLO's en error budgets
- Het pad van nieuw model naar productie bouwen: registry, eval-gate, canary, rollout en rollback via GitOps
- Eigenaar zijn van GPU-kosten en de business case self-hosting versus managed API onderbouwen
- Security en soevereiniteit borgen: model supply chain, CVE-beheer en data residency
Wat vragen we
- Aantoonbare, diepe Kubernetes- en containerkennis
- Ervaring met Terraform en GitOps
- SRE-mindset: SLO's, error budgets, analyseren onder druk
- Kennis van LLM serving of een snel leerpad ernaartoe (batching, paged attention, quantization)
- Cloudervaring, bij voorkeur AWS
- Eerlijke, onderzoekende houding
Pré
- Speculative decoding, KServe/Ray Serve, Kueue/Volcano
- Model provenance (Sigstore, ML-BOM), Vault
- Kennis van EU AI Act en ISO 42001
- Multimodale serving (audio/vision)
Stack
Python, Bash, AWS (EKS), Kubernetes, Terraform, Helm, ArgoCD, vLLM, Qdrant, Postgres
Over True Legends
True Legends is gespecialiseerd in Mission Critical IT, met systemen die cruciaal zijn voor continuïteit, veiligheid en innovatie. Onze experts werken in Software Development, Data & AI, Cloud & Infrastructure, Business IT en Cybersecurity. We combineren technische expertise met een pragmatische aanpak, bouwen duurzame relaties en leveren maatwerk met impact.
Praktische info
- Startdatum: In overleg
True Legends richt zich op het werven, opleiden en detacheren van IT Professionals binnen de sectoren Software Development, Cyber Security, Agile/Scrum, Business IT, Data en meer!
We bemiddelen hoogopgeleid talent met 0-3 jaar werkervaring én ervaren IT-professionals die al langer in het vak zitten. Daarnaast biedt True Legends ook Traineeships aan bij toonaangevende opdrachtgevers. De kandidaten van True Legends kenmerken zich door hun hoogwaardige IT-kennis, frisse blik en positieve energie.