In short
Builds data ingestion pipelines for Криптонит's secure analytics platform (written in Scala on Kubernetes), moving data from sources like S3, HDFS, and SFTP into stores such as Scylla, PostgreSQL, ClickHouse, and OpenSearch, plus code reviews and SDLC automation with LLMs. Office/hybrid role in Nizhny Novgorod.
About the role
Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.
Основные задачи:
- Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
- Определение и согласование нефункциональных требований к процессам построения витрин
- Декомпозиция задач, оценка сроков выполнения
- Выполнение Code review и контроль правильности реализации принятых технических решений
- Участие в процессе автоматизации SDLC с помощью LLM
Технологический стек:
- Хранение и обработка данных: Scylla, S3, Kafka, Spark, Nifi, Airflow, PostgreSQL, Clickhouse, Opensearch
- Мониторинг и логирование: Grafana, Victoria Metrics, Prometheus
- Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Helmwave, ScalaTest, GitlabCI, Typelevel (Cats Effect, Circe, Doobie, Weaver)
Наши ожидания:
- Опыт работы по специальности от 3 лет
- Опыт разработки на Scala от 2 лет
- Знание особенностей реализации различных алгоритмов и структур данных
- Опыт работы в команде
Что мы предлагаем:
Здоровье и спорт:
- ДМС со стоматологией
- Корпоративные скидки в сети фитнес-клубов World Class
- Корпоративный тариф на абонементы FITMOST
- Программа корпоративных скидок Best Benefits – на спорт и не только
- Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
Обучение и развитие:
- Курсы английского языка, в том числе с носителем языка
- Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
- Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
- Профильные митапы – организовываем, проводим и принимаем участие
- Билеты со скидкой в Музей криптографии для сотрудников и их семей
А также:
- Работа в офисе или в гибридном формате
- Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
- Насыщенные и яркие корпоративные праздники
- Классный мерч