Senior Data Ingestion Engineer

Data speelt een steeds grotere rol in de processen van veel organisaties en is continu in beweging. Bijvoorbeeld het verkrijgen van de juiste informatie of het veilig laten verlopen van kritieke systemen. De organisatie achter deze zzp opdracht zoekt een gedreven Senior Data Ingestion Engineer die een belangrijke bijdrage wil leveren aan het bouwen van een robuust en schaalbaar dataplatform. DIT GA JE DOEN - Je bent verantwoordelijk voor het ontwerpen, bouwen en onderhouden van een schaalbaar platform waarop alle data-ingestie draait. - Je slaat de brug tussen software engineering en data engineering en transformeert huidige processen van losse scripts naar een centraal, productwaardig ingestieplatform. - Je werkt aan de implementatie van data push-principes, zoals het opzetten van endpoints waar bronnen data naartoe kunnen sturen. - Je zorgt voor validatie, versiebeheer en metadata-management zodat data betrouwbaar en productieklaar wordt aangeboden. - Je zet Infrastructure as Code (IaC) in met Terraform om infrastructuur te automatiseren en het uitrollen van nieuwe pipelines voorspelbaar te maken. - Je bouwt API's voor een webapplicatie die de status van data runs toont, retries mogelijk maakt en complexiteit voor data teams wegneemt. - Je neemt een leidende rol in het team, deelt je expertise, geeft en ontvangt feedback en helpt collega’s groeien. GEZOCHT PROFIEL - Je hebt 5 tot 10 jaar ervaring als Software Engineer, Platform Engineer of Data Engineer met een sterke software achtergrond. - Je bent een expert in Python en bouwt robuuste, schaalbare en onderhoudbare applicaties en services. - Je hebt diepgaande hands-on ervaring met Azure, waaronder Function Apps, Container Apps, Service Bus, Event Hubs en ADLS Gen2. - Je bent ervaren met containerisatie technologieën zoals Docker en Kubernetes of vergelijkbare orchestrators. - Je beheerst Infrastructure as Code met Terraform en bent bekend met het automatiseren van infrastructuur. - Je hebt ervaring met het ontwerpen en bouwen van RESTful API's en bij voorkeur kennis van gRPC en Protobuf. - Je hebt ervaring met relationele databases zoals Postgres en data migraties. STERKE PRÉ'S - Kennis van Open Table Formats zoals Delta Lake of Iceberg. - Ervaring met data-intensieve libraries zoals pyArrow. - Goede kennis van Azure networking voor veilige en performante dataverbindingen. - Ervaring met frontend technologieën zoals Typescript en Next.js. - Kennis van security concepten zoals OAuth. - Ervaring met tooling stacks zoals protobuf, gRPC en sqlc. - Coachende vaardigheden en het vermogen om collega’s te begeleiden. WIE BEN JIJ? - Je bent een platformdenker die het grotere geheel ziet. - Je wordt enthousiast van het oplossen van complexe, systemische problemen en bouwt liever een machine die pipelines maakt dan losse pipelines handmatig. - Je bent pragmatisch en communicatief sterk, kunt technische concepten uitleggen aan minder technische stakeholders. - Je bent een bouwer die niet terugdeinst voor complexe uitdagingen en gedreven is om het bestaande landschap fundamenteel te verbeteren. WERKOMGEVING De organisatie werkt vanuit een centraal kantoor in Utrecht en vanuit huis. Het team bestaat uit een mix van ervaren professionals die graag kennis delen en samenwerken in een agile omgeving. Als Senior Data Ingestion Engineer maak je deel uit van een scrumteam en werk je nauw samen met collega’s uit verschillende disciplines. LET OP Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen worden afgedragen. De opdracht is niet geschikt voor zzp’ers of zelfstandig ondernemers die zichzelf uitlenen. Lijkt deze freelance opdracht je wat en voldoe je aan de eisen? Reageer dan direct via de link onderaan deze pagina.