Datenorchestrierung mit Apache Airflow
Aufbau einer vereinheitlichten Datenorchestrierung mit über 600 DAGs auf Apache Airflow.
Kunde: Bergfreunde GmbH · Zeitraum: 2020–2022 · Rolle: Data Engineer
Für Bergfreunde haben wir die Datenorchestrierungsschicht komplett neu aufgebaut. Entstanden ist eine erste, vereinheitlichte Datenorchestrierung auf Apache Airflow mit einer vollständigen ETL-Pipeline über 600 DAGs, einschließlich Datenmodellierungsjobs. Bergfreunde erhielt damit eine einheitliche Engine, die sämtliche Datenjobs zeitgenau und zu 100 % konsistent ausführt. Zur Übergabe des Projekts wurde eine umfangreiche Dokumentation erstellt und ein Team von 4 Data Engineers auf der neuen Plattform geschult.
Technologien
Google Cloud, Kubernetes, Apache Airflow, BigQuery, Python, Terraform