Data Engineer (m/w/d) GCP

Deine Aufgabe

Wir suchen einen Data Engineer für unser Team in DBIZ. Die Technik Value Stream Teams sind verantwortlich für den Daten-Ingest auf One Data Entry (ODE), die Entwicklung der relevanten Datenprodukte auf ODE und den Betrieb der Datenprodukte auf ODE.

Aufgaben

• Infrastruktur-Bereitstellung & Management: Effiziente Bereitstellung und Verwaltung von Infrastruktur auf Google Cloud Platform (GCP), einschließlich Netzwerkarchitekturen (Shared VPC, Hub‑and‑Spoke), Sicherheitsimplementierungen (IAM, Secret Manager, Firewalls, Identity‑Aware Proxy), DNS‑Konfiguration, VPN und Load Balancing.
• Datenverarbeitung & Transformation: Nutzung von Hadoop‑Clustern mit Hive für Datenabfragen und PySpark für Datentransformationen. Implementierung von Job‑Orchestrierung mit Airflow.
• Management von GCP‑Kerndiensten: Intensive Arbeit mit Diensten wie Google Kubernetes Engine (GKE), Cloud Run, BigQuery, Compute Engine und Composer, ...