Data Engineer (Scala) / Дата Инженер Скала( WaveAccess )
26 Июня 2025

Город:
Санкт-Петербург
Занятость:
Полная занятость
Компания "WaveAccess"
Ищем инженера по данным для участия в разработке системы, обрабатывающей информацию о продажах по всей России. Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей. Объем исходных данных в проекте огромен - несколько петабайт, сотни ETL-процессов работают над построением витрин, а ежедневно обрабатывается десятки-сотни терабайт информации. Если вы готовы принять вызов работы с такими масштабами данных, присоединяйтесь к нам!
Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg
Чем предстоит заниматься:
- Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala
- Оптимизация скорости обработки данных и потребления системных ресурсов
- Поиск и устранение причин ошибок, аномалий в результирующих данных
- Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса
Что мы ожидаем от кандидата:
- Владение Scala, Java или готовность оперативно освоить основы scala
- Консольный минимум Linux
- Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем
- Знание основ работы с БД, уверенное знание SQL
Будет плюсом:
- Опыт работы с Scala Dataframe/Dataset API
- Опыт построения и оркестрации ETL-процессов для обработки Big Data
- Опыт оптимизации spark-запросов и настройки потребляемых ресурсов
- Углублённое понимание принципов работы и конфигурационных параметров Spark
- Опыт работы с Zepellin или Jupiter
- Опыт работы с ClickHouse или иными NoSQL
- Опыт работы с Apache Airflow
- Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive
- Умение работать с GitLab CI
- Знание Bash достаточное, чтобы внести исправления в скрипты
- Минимальные знания Python
- Английский на уровне B1 и выше
Мы предлагаем следующие условия:
- Работу в динамичной международной команде
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
15 Июня
Инженер-конструктор металлургической продукции для судостроительной отрасли
Санкт-Петербург
от 123 000 руб.
Компания "Магнитогорский металлургический комбинат" Мы ищем профессионала, обладающего глубокими знаниями металлургической продукции, который...
19 Июня
Санкт-Петербург
Компания "ATI.SU" О команде: Мы — команда системной инфраструктуры. Мы обеспечиваем стабильную работу всех серверов, виртуальных машин и...
19 Июня
Инженер по обслуживанию медицинского оборудования
Санкт-Петербург
Компания "Премиум Эстетикс" Компания Premium Aesthetics является крупнейшим дистрибьютором высокотехнологичного медицинского оборудования для...
19 Июня
C# разработчик / инженер сопровождения ПО
Санкт-Петербург
от 100 000 руб.
Компания "Проектно-производственная компания ИноксДрайв" Компания «ИноксДрайв» — ведущий производитель инновационного оборудования для...
20 Июня
Санкт-Петербург
до 75 000 руб.
Компания "Marriott International" Отель Ренартисс Исаакий Санкт-Петербург 5* (ex-Renaissance St.Petersburg Baltic Hotel/Marriott) «Ренартисс...
Вакансия размещена в отрасли