Data Engineer (Scala) / Дата Инженер Скала( WaveAccess )

26 Июня 2025

WaveAccess
WaveAccess

Город:

Санкт-Петербург

Занятость:

Полная занятость

Откликнуться

Компания "WaveAccess"

Ищем инженера по данным для участия в разработке системы, обрабатывающей информацию о продажах по всей России. Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей. Объем исходных данных в проекте огромен - несколько петабайт, сотни ETL-процессов работают над построением витрин, а ежедневно обрабатывается десятки-сотни терабайт информации. Если вы готовы принять вызов работы с такими масштабами данных, присоединяйтесь к нам!

Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg

Чем предстоит заниматься:

  • Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala
  • Оптимизация скорости обработки данных и потребления системных ресурсов
  • Поиск и устранение причин ошибок, аномалий в результирующих данных
  • Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса

Что мы ожидаем от кандидата:

  • Владение Scala, Java или готовность оперативно освоить основы scala
  • Консольный минимум Linux
  • Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем
  • Знание основ работы с БД, уверенное знание SQL

Будет плюсом:

  • Опыт работы с Scala Dataframe/Dataset API
  • Опыт построения и оркестрации ETL-процессов для обработки Big Data
  • Опыт оптимизации spark-запросов и настройки потребляемых ресурсов
  • Углублённое понимание принципов работы и конфигурационных параметров Spark
  • Опыт работы с Zepellin или Jupiter
  • Опыт работы с ClickHouse или иными NoSQL
  • Опыт работы с Apache Airflow
  • Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive
  • Умение работать с GitLab CI
  • Знание Bash достаточное, чтобы внести исправления в скрипты
  • Минимальные знания Python
  • Английский на уровне B1 и выше

Мы предлагаем следующие условия:

  • Работу в динамичной международной команде
  • Участие в иностранных и российских проектах
  • Оформление по ТК РФ, 100% оплата больничного и отпуска
  • ДМС со стоматологией
  • Необходимую для работы технику
  • Корпоративные обучающие программы
  • Широкие возможности для самореализации, профессионального и карьерного роста
  • Демократичный подход к процессам и плавающее начало рабочего дня.

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя

Прикрепите резюме для отклика

Похожие вакансии

15 Июня

Инженер-конструктор металлургической продукции для судостроительной отрасли

Санкт-Петербург

от 123 000  руб.

Компания "Магнитогорский металлургический комбинат" Мы ищем профессионала, обладающего глубокими знаниями металлургической продукции, который...

19 Июня

Senior Linux engineer

Санкт-Петербург

Компания "ATI.SU" О команде: Мы — команда системной инфраструктуры. Мы обеспечиваем стабильную работу всех серверов, виртуальных машин и...

19 Июня

Инженер по обслуживанию медицинского оборудования

Санкт-Петербург

Компания "Премиум Эстетикс" Компания Premium Aesthetics является крупнейшим дистрибьютором высокотехнологичного медицинского оборудования для...

19 Июня

C# разработчик / инженер сопровождения ПО

Санкт-Петербург

от 100 000  руб.

Компания "Проектно-производственная компания ИноксДрайв" Компания «ИноксДрайв» — ведущий производитель инновационного оборудования для...

20 Июня

Старший инженер

Санкт-Петербург

до 75 000 руб.

Компания "Marriott International" Отель Ренартисс Исаакий Санкт-Петербург 5* (ex-Renaissance St.Petersburg Baltic Hotel/Marriott) «Ренартисс...

Подпишитесь на похожие вакансии