Kenntnisse in Azure Databricks / Spark und Programmierung mit Python oder Scala (um Modellkonzepte technisch sauber umzusetzen und mitzuentwickeln) … Unterstützungskasse - Seminare & Fortbildungen - Betriebliches Gesundheitsmanagement - Firmenevents
1
Du baust unsere Data-Lakehouse-Architektur weiter aus - performant, skalierbar und zukunftssicher - Du konzipierst und implementierst automatisierte ETL/ELT-Prozesse (inkl. Monitoring, Logging, Fehlerhandling) - Du integrierst Daten aus unterschiedlichen Quellsystemen, transformierst sie und stellst sie für Analytics, BI …
2
Durchführung der Migration von Databricks Legacy DBFS zu Unity Catalog (inkl. Umstellung von DBFS Mount Paths auf S3 Paths und Volumes) … Technische Weiterentwicklung von Cluster-, Job- und Berechtigungskonzepten im Kontext von Unity Catalog
3
Entwicklung und Pflege von Datenpipelines unter Verwendung von Databricks auf AWS und dbt für BI- und KI-Use-Cases einschließlich Versionierung und Deployment über Git und CI/CD-Pipelines - Infrastruktur-Automatisierung und Deployment von Cloud-Ressourcen mit Terraform
4
Weiterentwicklung: Du förderst Teammitglieder, teilst dein Wissen und gestaltest aktiv unsere Consulting-Strategie mit … Technologie-Know-how: Du beherrschst Databricks sowie Spark, PySpark, Delta Lake und Unity Catalog sicher
5
Du entwickelst, betreibst und optimierst Datenpipelines auf Microsoft Azure, insbesondere - mit Azure Databricks (Spark) … zukunftssicher - Du konzipierst und implementierst automatisierte ETL/ELT-Prozesse (inkl. Monitoring, Logging, Fehlerhandling)
6
Du entwickelst, betreibst und optimierst Datenpipelines auf Microsoft Azure, insbesondere mit Azure Databricks (Spark) … Du konzipierst und implementierst automatisierte ETL/ELT-Prozesse (inkl. Monitoring, Logging, Fehlerhandling)
7
Entwicklung und Migration von Batch- und Streaming-Datenpipelines inklusive Medaillon-Architektur - Integration heterogener Datenquellen sowie Harmonisierung bestehender Datenmodelle - Aufbau von Governance-, Sicherheits- und Rechtekonzepten inklusive Unity Catalog
8
Enterprise Data Program Office - Build and lead the EDPMO to manage data initiatives across the organization. Align projects with business priorities, allocate resources, and manage funding. Lead business process modeling, data flow and logic data modeling facilitations and documentation
9
Provision and configure Databricks workspaces using Terraform, CLI, and SDK. Manage workspace-level settings including clusters, libraries, compute policies, and access controls. Define and maintain catalogs, schemas, and tables across workspaces using Unity Catalog
10