Senior Streaming Data Engineer

Als Senior Streaming Data Engineer krijg je de kans om binnen een gedreven team te werken aan innovatieve en schaalbare data-oplossingen met behulp van Spark Structured Streaming en PySpark. Je ontwikkelt en onderhoudt real-time streaming platforms die zich vooral richten op semigestructureerde sensorische data en beeldverwerking. Hierbij zorg je voor betrouwbare, efficiënte en schaalbare dataverwerking, waarbij de security- en privacy-eisen van de organisatie achter deze zzp opdracht gewaarborgd worden. DIT GA JE DOEN - Samenwerken met collega Data Engineers om geavanceerde data-oplossingen te ontwerpen en implementeren. - Ontwikkelen en onderhouden van real-time streaming platformen gericht op semigestructureerde sensorische databronnen en beeldverwerking. - Waarborgen van betrouwbare en efficiënte data processing die voldoet aan security- en privacyvereisten. - Analyseren van de vraag achter de vraag om passende technische oplossingen te adviseren. - Inrichten van data pipelines tussen databronnen en analytics teams. - Opzetten en beheren van CI/CD pipelines voor de volledige levenscyclus van streaming pipelines, van ontwikkeling tot productie. - Bouwen aan een fundament in de Azure cloud omgeving waarin alle streaming en sensorische databronnen ontsloten worden voor verdere analyses. GEZOCHT PROFIEL - Minimaal 7 jaar ervaring als Data Engineer met grote hoeveelheden data. - Minimaal 3 jaar ervaring met Spark Structured Streaming. - Ruime ervaring met Python en PySpark, inclusief het ontwikkelen van CI/CD-pipelines, geautomatiseerd testen en Infrastructure-as-Code. - Ervaring met Java en/of Scala, Microsoft Azure, Databricks, Azure DevOps, Terraform en/of Bicep, OpenTofu, Kafka, AMQP, RabbitMQ en/of Event Hub. - Actueel en relevant inzicht in technologische ontwikkelingen binnen het domein van streaming data. - Zelfstarter die graag werkt in een Agile omgeving binnen een jong en gedreven team. - Waarde- en organisatiegerichte mindset, met het vermogen om wensen te vertalen naar duurzame oplossingen en goed samen te werken aan kwalitatief hoogwaardige producten. - Bereidheid om in de toekomst bereikbaarheidsdiensten te draaien. - Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk. - Je bent proactief, neemt zelfstandig initiatief en draagt actief bij aan verbeteringen binnen het team en de business. LET OP Deze opdracht is uitsluitend geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen worden afgedragen. De opdracht is niet bedoeld voor zelfstandig ondernemers, zzp’ers of directeur-grootaandeelhouders zonder werknemersverzekeringen. Lijkt deze freelance opdracht je wat en voldoe je aan de eisen? Reageer dan direct via de link onderaan deze pagina.