Data Engineer

Als freelancer krijg je de kans om een belangrijke rol te spelen in het ontwikkelen en beheren van end-to-end datamigratie-, verwerkings- en opslagprocessen voor een innovatieve organisatie. DIT GA JE DOEN De opdrachtgever zoekt een specialist die een betrouwbare, schaalbare en volledig geautomatiseerde data pijplijnomgeving kan opzetten. Dit gebeurt met behulp van Azure Data Factory (ADF) waarbij verschillende cloud databronnen naadloos worden geïntegreerd en beheerd. Je bent verantwoordelijk voor het automatiseren van data orkestratie en workflow scheduling ter ondersteuning van diverse integrale dataprocessen. Je werkzaamheden bestaan onder andere uit: - Opleveren van een schaalbare en veilige data orkestratie-omgeving via ADF met geautomatiseerde workflow scheduling. - Integratie van verschillende cloud databronnen met geoptimaliseerde datatransformaties. - Inrichting en beheer van data opslag in Azure CosmosDB, Azure Blob Storage en Azure Data Lake Storage. - Voldoen aan AVG-compliance eisen, wat essentieel is voor het project. - Documentatie en overdracht van kennis aan het interne team. - Ontwikkelen en implementeren van data orkestratie en workflow scheduling in Azure Data Factory. - Realiseren van complexe datatransformaties en integratie van diverse cloud databronnen. - Testen, valideren en optimaliseren van data pijplijnen. DE ORGANISATIE ACHTER DEZE ZZP OPDRACHT De opdrachtgever werkt aan de ontwikkeling en het beheer van nieuwe softwarecomponenten ter ondersteuning van diverse mobiliteitsinitiatieven. Deze generieke backoffice componenten draaien in de Azure cloud en maken processen mogelijk zoals Order 2 Delivery, NMS en Plannen, Boeken en Betalen voor klanten. Het team is verantwoordelijk voor de gehele product lifecycle, inclusief ontwikkeling en beheer. Het team bestaat uit professionals die het leuk vinden om naast het ontwikkelen en beheren van eigen softwareproducten ook systemen van verschillende partners met elkaar te laten communiceren. De organisatie heeft een informele werksfeer en een vaste kantoordag per week. GEZOCHT PROFIEL - Minimaal HBO werk- en denkniveau. - Aantoonbaar minimaal 5 jaar ervaring met Azure Data Factory (ADF) en workflow scheduling. - Minimaal 3 jaar aantoonbare ervaring met Snowflake. - Praktijkervaring met Azure CosmosDB, Blob Storage en Data Lake Storage. - Kennis van AVG-compliance in data workflows. - Communicatief vaardig en ervaren in kennisoverdracht. - Proactief, oplossingsgericht en bekend met complexe data-omgevingen. - Uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk. - Bij voorkeur ervaring in de publieke sector of OV-gerelateerde projecten. Lijkt deze freelance opdracht je wat en voldoe je aan de eisen? Reageer dan direct via de link onderaan deze pagina.