In short
Senior Data Platform Engineer administering, monitoring, and optimizing a cloud-based big-data platform in AWS at a software company. Daily work covers Cloudera PaaS and AWS-native services (Kafka, Flink, NiFi, Iceberg, DynamoDB), infrastructure automation with Terraform/ArgoCD, incident management, workload tuning, and 3rd-level support with on-call duty.
About the role
Werde Teil eines modernen Softwareunternehmens, das eine cloudbasierte Datenplattform betreibt, und übernimm Verantwortung für die Administration, Überwachung und Optimierung einer Big-Data-Umgebung in AWS. Du arbeitest mit modernsten Technologien wie Kafka, Flink, NiFi und DynamoDB und sorgst durch 3rd-Level-Support und Bereitschaftsdienst für hohe Verfügbarkeit.
Deine Aufgaben:
- Administration, Überwachung und Optimierung einer Big-Data-Plattform in der AWS-Cloud
- Verwaltung und Wartung von Cloudera On-Cloud-PaaS-Diensten und AWS-nativen Technologien (z. B. Kafka, Flink, NiFi, Iceberg Tables, DynamoDB)
- Bereitstellung und Automatisierung von Infrastruktur in AWS mit Terraform und ArgoCD
- Durchführung von Updates, Upgrades und Incident-Management für Plattformkomponenten
- Beratung von Entwickler:innen bei der Auswahl geeigneter Services für Geschäftsanwendungsfälle
- Bereitstellung von 3rd-Level-Support, inklusive Fehleranalyse, Troubleshooting und Bereitschaftsdienst zur Gewährleistung der Systemverfügbarkeit
- Optimierung von Workloads (z. B. Flink-Job-Speicherverwaltung, Impala/Trino-Abfragoptimierung)
- Bewertung und Implementierung cloud-nativer Dienste im Einklang mit der Systemarchitektur
Dein Profil:
- Fundierte Linux- und Hadoop-Ökosystem-Kenntnisse (HDFS, Zookeeper, Yarn, Impala, Spark, Kafka)
- Erfahrung mit Automatisierungstools wie Terraform
- Programmierkenntnisse in Spark, Python und idealerweise Kenntnisse von Cloudera-Diensten (z. B. Hue, Knox, Ranger RAZ, Streams Messaging Manager, NiFi, Kudu)
- Erfahrung mit Bereitschaftsdienst, Troubleshooting und Rolling Restarts sind von Vorteil
- Kubernetes-Erfahrung ist ein großer Pluspunkt
- Teamplayer-Mentalität
Was dich erwartet:
- Hybrides Arbeitsmodell mit flexiblen Arbeitszeiten
- Persönliche Schulungs- und Entwicklungsmöglichkeiten
- Arbeit mit modernen Cloud- und Big-Data-Technologien in einem kollaborativen Umfeld
- Essenszuschuss, kostenlose Getränke und Obst
- Gesundheitsinitiativen und betriebliche Altersvorsorge
- Teamevents und professioneller Austausch in Engineering-Communities
- Gute Verkehrsanbindungen, Parkmöglichkeiten und Unterstützung bei Umzügen, falls zutreffend