Senior Data Ingestion Engineer

Voor een uitdagende freelance opdracht zoekt de opdrachtgever een ervaren Senior Data Ingestion Engineer die graag complexe, systemische problemen oplost en zich richt op het bouwen van een schaalbaar en robuust dataplatform. Je bent een pragmatische bouwer met sterke communicatieve vaardigheden, die technische concepten helder kan uitleggen aan minder technische stakeholders en collega’s. Je hebt de drive om het bestaande landschap fundamenteel te verbeteren en werkt mee aan het automatiseren en verbeteren van het volledige ontwikkelproces van data-ingestie. DIT GA JE DOEN - Je draagt bij aan de ontwikkeling van een dataplatform waarbij datateams zoveel mogelijk ontzorgd worden, zodat zij zich kunnen richten op het maken van waardevolle informatieproducten. - Je bent niet alleen verantwoordelijk voor het bouwen van data pipelines, maar ook voor het ontwerp, de implementatie, deployment en monitoring van het ingestieplatform. - Je slaat een brug tussen software engineering en data engineering om een productiewaardig platform te bieden dat data valideert en betrouwbaar aanbiedt. - Je bent sparringpartner en coach voor interne gebruikers en zorgt ervoor dat de tooling aansluit bij hun behoeften. - Je werkt samen in een gemotiveerd en zelfstandig scrumteam met developers, een UX-designer, Scrum Master en Product Owner, waarbij kennisdeling en continue verbetering centraal staan. - Je helpt met het neerzetten van een push data service en ontsluit data bronnen op efficiënte wijze. - Je bouwt core services in Python voor het ingestieplatform, ontwikkelt generieke componenten voor verschillende ingestiepatronen zoals API en FTP, en implementeert data push-principes. - Je zorgt voor de productization van data door validatie, versioning en metadata-management te implementeren zodat een betrouwbare bron laag ontstaat. - Je gebruikt Terraform om de infrastructuur van het ingestieplatform als code te beheren en te automatiseren, waardoor uitrol en wijzigingen voorspelbaar en efficiënt verlopen. - Je werkt aan de backend van een webapplicatie om self-service voor data teams te verbeteren, bouwt API's die retries mogelijk maken en vereenvoudigt complexe API-ingestie. DIT NEEM JE MEE - 7 tot 10 jaar ervaring als Software Engineer, Platform Engineer of Data Engineer met een sterke software achtergrond. - Expertise in Python voor het bouwen van robuuste, schaalbare en onderhoudbare applicaties en services. - Diepgaande hands-on ervaring met Azure, inclusief Function Apps, Azure Container Apps en ADLS Gen2. - Ruime ervaring met containerisatie technologieën zoals Docker en Kubernetes of vergelijkbare orchestrators. - Grondige kennis van Infrastructure as Code met Terraform voor het automatiseren van infrastructuurbeheer. - Ervaring met API design en het bouwen van API's. - Kennis van Open Table Formats zoals Delta Lake of Iceberg is een sterke pré. - Ervaring met data-intensieve libraries zoals pyArrow is een plus. - Goede kennis van Azure networking om veilige en performante dataverbindingen op te zetten. - Ervaring met frontend technologieën zoals TypeScript en NextJS is een pré. - Bekendheid met tooling stacks zoals protobuf, gRPC en sqlc. - Ervaring met relationele databases zoals Postgres en data migraties. BELANGRIJK Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarbij loonbelasting en premies voor volks- en werknemersverzekeringen worden afgedragen. Zelfstandige professionals, zzp’ers of directeur-grootaandeelhouders zonder werknemersverzekeringen komen niet in aanmerking. Lijkt deze freelance opdracht je wat en voldoe je aan de eisen? Reageer dan direct via de link onderaan deze pagina.