About the role
Wynagrodzenie
B2B: 150 – 175 PLN / godz. netto
RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.
Data Platform Engineer (Apache Druid)
Lokalizacja: 100% zdalnie
Forma współpracy: B2B
Stawka: do 175 PLN netto + VAT/h
O projekcie
Dla naszego klienta – międzynarodowej firmy technologicznej rozwijającej platformę chmurową do zarządzania komunikacją z klientami, automatyzacją oraz marketingiem opartym na danych – poszukujemy Data Platform Engineera ze znajomością Apache Druid.
Projekt koncentruje się na rozwoju i utrzymaniu nowoczesnej platformy danych oraz ekosystemu analitycznego przetwarzającego duże wolumeny danych. Osoba na tym stanowisku będzie odpowiedzialna za rozwój procesów ingestii, agregacji i wzbogacania danych, optymalizację wydajności oraz zapewnienie skalowalności i bezpieczeństwa platformy.
Zakres usługi
Rozwój i utrzymanie pipeline'ów ingestii danych w Apache Druid oraz tworzenie własnych rozszerzeń (extensions).
Integracja Apache Druid z zewnętrznymi systemami lookup.
Budowanie i utrzymywanie pipeline'ów danych opartych na Apache Kafka.
Udział w rozwoju przetwarzania strumieniowego z wykorzystaniem Apache Flink.
Implementacja procesów pre-agregacji i wzbogacania danych.
Optymalizacja zapytań MySQL oraz poprawa wydajności baz danych w środowiskach o dużej skali.
Projektowanie mechanizmów wzbogacania metadanych w różnych systemach przechowywania danych.
Integracja i utrzymanie mechanizmów kontroli dostępu RBAC.
Praca z usługami AWS, w szczególności S3, Aurora i IAM.
Współpraca z zespołami rozwijającymi platformę danych oraz architekturę Lakehouse.
Wymagania
Praktyczne doświadczenie z Apache Druid, w szczególności w zakresie ingestii danych i tworzenia rozszerzeń.
Doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych z wykorzystaniem Apache Kafka.
Znajomość Apache Flink lub podobnych technologii do przetwarzania strumieniowego.
Bardzo dobra znajomość MySQL, w tym optymalizacji zapytań i wydajności baz danych przy dużych wolumenach danych.
Doświadczenie w implementacji mechanizmów wzbogacania metadanych w platformach danych.
Doświadczenie w integracji i utrzymaniu rozwiązań RBAC w różnych systemach przechowywania danych.
Praktyczna znajomość AWS, szczególnie S3, Aurora i IAM.
Umiejętność rozwiązywania złożonych problemów inżynierskich oraz współpracy z zespołem.
Mile widziane
Doświadczenie z ClickHouse.
Znajomość Apache Iceberg i architektury Lakehouse.
Doświadczenie z technologiami federacji zapytań, np. Trino lub Amazon Athena.
Doświadczenie w pracy z platformami danych przetwarzającymi duże wolumeny danych.