Middle/middle+ Data Engineer

16 Декабря

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "Метр Квадратный"

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

Загружать и обрабатывать в DWH данных внутренних и внешних систем (стек Kafka, PySpark, Hadoop, Clickhouse, AirFlow, s3, dbt, trino);
принимать участие в построении DWH: проектирование, определение сущностей, формирование витрин данных;
формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.

ЧЕГО МЫ ЖДЕМ:

Опыт обработки больших данных, знание принципов работы БД и методологий моделирования;
продвинутый уровень владения Python, Apache AirFlow, SQL,dbt;
понимание концепций непрерывной интеграции, доставки (CI/CD) и работа с контейнерами (Docker);
высшее образование, широкий технический кругозор;
проактивность и ответственность за конечный результат;
английский - на уровне чтения документации.

Будет плюсом:

- Знание Spark и trino.

Похожие вакансии

10 Декабря

Санкт-Петербург

до 200 000 руб.

Компания "АРЕС" Стабильная компания с 20-летним опытом работы на рынке радиоэлектроники и радиоустройств. Продукция востребована, а команда —...

11 Декабря