Data Engineer( ГСП ЦЕНТР )

ГСП ЦЕНТР

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "ГСП ЦЕНТР"

«ГСП-Центр» — Единый Центр Обслуживания, оператор по финансовому, кадровому, бухгалтерскому и IT сопровождению компаний Холдинга АО «Газстройпром» - ведущей российской строительной компании, генерального подрядчика по строительству объектов ПАО «Газпром».

Обязанности:

Собирать необработанные события из Kafka и загружать их в КХД (бронзовый и серебряный слои);
Обогащать и агрегировать необработанные данные, преобразуя их в ClickHouse (золотой слой);
Создавать готовые к использованию витрины данных с использованием Airflow, Dagster и материализованных представлений ClickHouse;
Реализовать проверки качества данных и групп DAG Airflow;
Поддерживать и развивать инфраструктуру КХД. Разворачивать инструменты и поддерживать их работу;
Автоматизировать повторяющиеся задачи и внедрить лучшие практики и стандарты для процессов проектирования данных;
Написание и ведение технической документации.

Требования:

Опыт работы с Kafka, Airflow, Dagster, ClickHouse, PostgreSQL , TrinoDB, DBT;
Опыт работы с SQL (сложные запросы + оптимизация);
Опыт работы с Python (общие принципы + библиотеки для DE);
Опыт применения фреймворков для мониторинга и валидации данных (Data Quality frameworks);
Умение находить оптимальные решения и выбирать подходящие инструменты

Условия:

Официальное трудоустройство по ТК РФ;
Работа в дочерней структуре одной из лучших компаний России;
График работы 5/2,с 9:00 до 18:00,в пятницу сокращённый день до 17:00;
Достойная материальная мотивация: конкурентоспособный уровень заработной платы, дополнительные выплаты к отпуску;
Интересные задачи и множество возможностей для карьерного роста;
Забота о здоровье сотрудников: качественная программа ДМС;
Комфортный офис в центре города.