Data Engineer( ГСП ЦЕНТР ) (в архиве)

08 Декабря

Партнерские Вакансии

Компания "ГСП ЦЕНТР"

«ГСП-Центр» — Единый Центр Обслуживания, оператор по финансовому, кадровому, бухгалтерскому и IT сопровождению компаний Холдинга АО «Газстройпром» - ведущей российской строительной компании, генерального подрядчика по строительству объектов ПАО «Газпром».
​​​​​​​
Обязанности:

• Собирать необработанные события из Kafka и загружать их в КХД (бронзовый и серебряный слои);
• Обогащать и агрегировать необработанные данные, преобразуя их в ClickHouse (золотой слой);
• Создавать готовые к использованию витрины данных с использованием Airflow, Dagster и материализованных представлений ClickHouse;
• Реализовать проверки качества данных и групп DAG Airflow;
• Поддерживать и развивать инфраструктуру КХД. Разворачивать инструменты и поддерживать их работу;
• Автоматизировать повторяющиеся задачи и внедрить лучшие практики и стандарты для процессов проектирования данных;
• Написание и ведение технической документации.

Требования:

• Опыт работы с Kafka, Airflow, Dagster, ClickHouse, PostgreSQL , TrinoDB, DBT;

• Опыт работы с SQL (сложные запросы + оптимизация);

• Опыт работы с Python (общие принципы + библиотеки для DE);

• Опыт применения фреймворков для мониторинга и валидации данных (Data Quality frameworks);

• Умение находить оптимальные решения и выбирать подходящие инструменты

Условия:

• Официальное трудоустройство по ТК РФ;

• Работа в дочерней структуре одной из лучших компаний России;

• График работы 5/2,с 9:00 до 18:00,в пятницу сокращённый день до 17:00;

• Достойная материальная мотивация: конкурентоспособный уровень заработной платы, дополнительные выплаты к отпуску;

• Интересные задачи и множество возможностей для карьерного роста;

• Забота о здоровье сотрудников: качественная программа ДМС;

• Комфортный офис в центре города.