In short
Data engineer designing, building and optimizing batch and streaming ETL/ELT pipelines that feed a data warehouse and Big Data environment on Google Cloud, powering datamarts, reporting, customer segmentation and campaign systems. Core stack: SQL, BigQuery, Python/Rust, Kafka/Pub/Sub; hybrid with 1 office day per week in Warsaw.
About the role
Nasze wymagania:
- Doświadczenie w budowie procesów ETL lub ELT
- Doświadczenie w pisaniu i optymalizacji zapytań SQL
- Doświadczenie w pracy z BigQuery
- Doświadczenie w programowaniu w Python lub Rust
- Doświadczenie w przetwarzaniu danych w trybie batch oraz streaming
- Doświadczenie w pracy z Kafka lub Pub/Sub
- Doświadczenie w pracy z bazami Oracle lub PostgreSQL
- Znajomość systemu Linux
Mile widziane:
- Doświadczenie z Google Cloud
- Doświadczenie z Dataflow lub Dataproc, Cloud Storage
- Doświadczenie z Apache Spark
- Doświadczenie z Apache Beam
- Doświadczenie z Kubernetes lub Docker
- Doświadczenie z Informatica PowerCenter
- Doświadczenie z Data Lake
- Doświadczenie z AutomateNOW
O projekcie:
Projekt obejmuje rozwój procesów zasilania danych dla hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Dane są wykorzystywane m.in. do datamartów, analiz, raportowania, segmentacji klientów oraz przygotowywania spersonalizowanych ofert i kampanii.
Tryb: hybrydowo, 1 dzień w tygodniu w biurze
Długość: powyżej 12 miesięcy
Stawka: do 135 zł/h netto (B2B)
Zakres obowiązków:
- Projektowanie, budowa i rozwój pipeline'ów ETL/ELT w batchu i streamingu
- Integracja danych z systemów on-premise, chmury, baz, plików, API i systemów zdarzeniowych
- Modelowanie danych i tworzenie datamartów
- Optymalizacja SQL, wydajności i kosztów
- Zapewnianie jakości danych, monitoringu, obsługi błędów i testów
- Diagnozowanie incydentów i wsparcie wdrożeń
- Dokumentowanie rozwiązań zgodnie z podejściem DevSecOps
Oferujemy:
- Kontrakt B2B
- Praca hybrydowa: 1 dzień w tygodniu w biurze (Warszawa)
- Czas trwania: powyżej 12 miesięcy
- Prywatna opieka medyczna
- Dofinansowanie zajęć sportowych
- Wsparcie formalne od dokumentów po onboarding
Requirements
- Experience building ETL or ELT processes