Kenntnisse in Azure Databricks / Spark und Programmierung mit Python oder Scala (um Modellkonzepte technisch sauber umzusetzen und mitzuentwickeln) … Unterstützungskasse - Seminare & Fortbildungen - Betriebliches Gesundheitsmanagement - Firmenevents
1
Gemeinsam im Team verantwortest du den Aufbau und Betrieb unserer databricks basierten Data & AI Plattform in der Microsoft Azure Cloud. Du konzipierst und implementierst CI/CD-Prozesse (Gitlab) sowie Infrastructure-as-Code (Terraform), um Infrastruktur und Plattformkomponenten automatisiert bereitzustellen und …
2
Entwicklung, Weiterentwicklung und Wartung von Datenpipelines zur Verarbeitung und Analyse von Kundendaten - Unterstützung beim Aufbau und Betrieb der Dateninfrastruktur für Datenanalysen und Machine-Learning-Anwendungen - Anbindung und technische Integration verschiedener Datenquellen in die bestehende …
3
Gestaltung der End-to-End-Datenarchitektur unserer Microsoft‑Fabric‑Plattform (OneLake, Eventhouse, Datenschichten). Entwicklung robuster Datenprodukte aus Anlagenzuständen, Energiekennzahlen, Bestellungen/Lieferscheinen sowie SAP‑Daten
4
Zuarbeit im Rahmen der Skalierung des Spark Cell-Programms des CIHBw in der Bundeswehr, z.B. Erstellen von Präsentationen und Strategiepapieren u.s.w … Vor- und Nachbereitung von Besprechungen, Workshops, Veranstaltungen und Events
5
Repräsentation von Spark Cells und des CIHBw vor internen und externen Stakeholdern … Abgeschlossenes Studium in Kombination mit mindestens 2 Jahren einschlägiger Berufserfahrung im Kontext Innovation oder agiler Methodik - Expertenwissen in der Anwendung agiler Methoden und Coaching, in der Moderation von Workshops …
6
Fundierte praktische Erfahrung mit Microsoft Fabric – insbesondere in den folgenden Bereichen: Data Factory (Pipelines, Dataflows Gen2) - Lakehouse / OneLake / Delta Lake - Spark (PySpark oder Spark SQL) - Fabric Data Warehouse / T‑SQL
7
DEINE AUFGABEN BEI UNS - Als Data Engineer bist du verantwortlich für die Entwicklung, Pflege und Optimierung unserer Datenpipelines und Analysegrundlagen. Aufbau und Weiterentwicklung performanter Datenpipelines (Batch & Analyse) - Verarbeitung großer Datenmengen mit Apache Spark
8
Zur Unterstützung beim Ausbau der Datenplattform suchen wir einen erfahrenen Data Engineer mit Fokus auf Snowflake auf Teilzeitbasis (2–3 Tage pro Woche, remote). In dieser Rolle arbeitest du an der Entwicklung und Optimierung der Datenpipelines und trägst dazu bei, eine skalierbare und moderne Datenarchitektur aufzubauen
9
DSF runs complex, high-volume data workloads - Spark jobs on EMR or Kubernetes, Hadoop ecosystem components (HDFS/YARN), data ingestion pipelines via Firehose and Glue into S3, and interactive workflows through JupyterLabs and the DS API
10