Senior Data Engineer( Employcity )
04 Декабря 2024
Город:
Санкт-Петербург
Занятость:
Полная занятость
Компания "Employcity"
Компания, занимающаяся разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой B2B решения развлекательной, игровой и спортивной тематики находится в поиске Senior Data Engineer.
Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL/ELT пайплайны для обработки данных из PostgreSQL, MongoDB, ClickHouse.
- Выполнять интеграцию источников данных в Data Lakehouse.
- Оптимизировать процессы загрузки и обработки данных.
- Работать с потоками данных через Kafka и обработкой в Spark.
- Анализировать текущие пайплайны и внедрять улучшения.
- Интегрировать данные между Data Lakehouse и BI-системой.
- Оптимизировать аналитические запросы для визуализации отчетов и дашбордов.
Необходимые навыки и опыт:
- Опыт работы с большими данными от 2+ лет.
- Реализация интеграции с реляционными и NoSQL базами.
- Опыт работы с ClickHouse для аналитических запросов.
- Опыт работы с DBT и Trino.
- Знание инструментов CDC (Debezium, Kafka Connect).
- Опыт построения Lakehouse через анализ и улучшение текущих подходов.
- Уверенное владение PostgreSQL, MongoDB, ClickHouse.
- Знание Python и использование опыта в задачах обработки данных.
- Опыт работы с инструментами оркестрации (Airflow, NiFi).
- Знание Apache Spark, Kafka.
- Навыки аудита и оптимизации ETL-процессов.
Будет плюсом:
- Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset)
Что компания может предложить:
Социальные гарантии:
- Белая заработная плата 2 раза в месяц, которая зависит от пожеланий, скиллов и опыта;
- Годовой бонус (13-я ЗП);
- Реферальная программа за успешную рекомендацию кандидата;
- ДМС, подарки для сотрудников и их детей.
Комфортные условия работы:
- Формат работы - офис/гибрид/удаленно;
- Гибкое начало рабочего дня;
- 4 day-off в год за счет компании;
- Бесплатные корпоративные обеды и сладости;
- Абонемент в спортзал за счет компании;
- Рабочее место оборудовано современной техникой с учетом Ваших пожеланий;
- Отсутствие бюрократии, вопросы решаются оперативно, без многочисленных согласований.
Перспективы самореализации и развития:
- Наличие большого количества задач, которые дают возможность материального и профессионального роста;
- Поездки на ИТ-конференции, митапы, учебные курсы за счет компании;
- Компенсация оплаты занятий по английскому языку;
- Большая высококвалифицированная команда, тимлид, техлид, проджект менеджер, к которым всегда можно обратиться :)
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
26 Ноября
Senior Manual QA engineer (Android/Apple TV) стриминговая платформа
Санкт-Петербург
Компания "AWG" Мы в поисках Senior Manual QA engineer (Android/Apple TV) на задачи по тестированию мультиэкранной стриминговой платформы...
29 Ноября
Senior Media Buyer (Search Arbitrage)
Санкт-Петербург
Компания "ПлатформИО / Platform.io" RichAds - это глобальная рекламная сеть для перфоманс-маркетологов. Начав три года назад под названием...
25 Ноября
Санкт-Петербург
Компания "Интерлизинг" Интерлизинг – федеральная лизинговая компания с 24-летней историей. Сегодня у нас 65 офисов по стране и более 800...
28 Ноября
UX Researcher / UX исследователь( Employcity )
Санкт-Петербург
Компания "Employcity" Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в...
28 Ноября
Главный специалист по сопровождению поставок (ЕРС-проект) Senior Expediting Specialist
Санкт-Петербург
Компания "Газстройпром" АО «Газстройпром» – крупнейший строительный холдинг России, работающий на ключевых объектах Газпрома. В нашей компании...
Вакансия размещена в отрасли