Senior Data Engineer( Assistance Group )
14 Ноября 2024
до 450 000 руб.
Город:
Санкт-Петербург
Занятость:
Полная занятость
Опыт:
Более 6 лет
Компания "Assistance Group"
Наш партнер аккредитованная ИТ-компания. Основной цифровой партнер одного из ведущих отечественных DIY-ритейлеров и поставщика строительных материалов.
Стек:
ClickHouse, Pythоn, SQL, AirFlow, Spark, Apache Kafka, Yandex Cloud, Big Data, Kubernetes, FastAPI\Flask API, Java
Задачи:
- Создание хранилищ данных на базе ClickHouse.
- Разработка ETL-процессов.
- Написание, оптимизация и профилирование SQL/NoSQL запросов.
- Расчет сложных аналитических показателей в витринах данных.
- Настройка ClickHouse (шардинг, репликация), включая взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очередностью сообщений, валидностью данных).
- Участие в тестировании потоков с целью обеспечения их стабильной работы.
- Написание backend сервисов на Java.
- Участие в разработке архитектуры, процессов и инструментов для работы с данными.
- Обеспечение контроля качества данных, мониторинг, анализ и устранение проблем с качеством данных.
Требования:
- Опыт работы Data Engineer от 5 лет.
- Опыт работы с ClickHouse.
- Знание брокеров сообщений (Kafka).
- Опыт работы с Kubernetes проектами.
- Владение языком программирования Java.
- Участие в проектах по созданию DWH, Data lake.
- Опыт построения и развития высоконагруженных систем.
Условия:
- Официальное трудоустройство в аккредитованную ИТ-компанию со всеми льготами.
- Забота о здоровье: врач в офисе, полис ДМС через 3 месяца.
- Оплата обучения и участия в конференциях.
- Йога в офисе, команды по баскетболу, волейболу, футболу.
- Насыщенная корпоративная жизнь.
- График работы: 5/2, удаленный формат работы, можно работать из любой комфортной точки или из нашего офиса в Санкт-Петербурге.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
06 Ноября
DevOps Engineer( Алабуга, ОЭЗ ППТ )
Санкт-Петербург
Компания "Алабуга, ОЭЗ ППТ" ВАКАНСИЯ С ПЕРЕЕЗДОМ В РЕСПУБЛИКУ ТАТАРСТАН Обязанности: Взаимодействие с продуктовой командой; Повышение...
06 Ноября
Санкт-Петербург
Компания "Postgres Professional" Postgres Professional — разработчик самой популярной российской СУБД Postgres Pro на базе свободно...
06 Ноября
Санкт-Петербург
Компания "Marfatech" В Affiliate Marketing отдел международного холдинга с эксклюзивными игровыми проектами ищем опытного Media Buyer. Чем...
05 Ноября
Технический директор( DS Group (ИП Семенов Андрей Юрьевич) )
Санкт-Петербург
от 250 000 руб.
Компания "DS Group (ИП Семенов Андрей Юрьевич)" Приглашaeм oпытнoго cпециалиста - тeхничeскoгo диpeктopа пpиcoeдинитьcя к нaшей командe в DS...
06 Ноября
Специалист по санитарии( ManpowerGroup )
Санкт-Петербург
от 130 000 руб.
Компания "ManpowerGroup" Обязанности: Организовывает работы по обеспечению соответствующего санитарного состояния производственных,...
Вакансия размещена в отрасли