Data engineer DWH в Маркет (в архиве)

09 Февраля

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "Яндекс"

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут

  • вести разработку ETL-процессов поставки данных;
  • выявлять неэффективность в существующих процессах и оптимизировать их;
  • проектировать структуру хранения данных;
  • участвовать в развитии фреймворка поставки данных;
  • погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом;
  • сопровождать разработанные процессы ETL.

Мы ждём, что вы

  • уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов;
  • знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом, если вы

  • проектировали DWH: слои, модели хранения данных, процессы ETL;
  • понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse;
  • имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++;
  • умеете работать в командной строке систем Unix-like: Linux, macOS.
Похожие вакансии

11 Марта

Platform Engineer( Доктор Веб )

Санкт-Петербург

Компания "Доктор Веб" Чем предстоит заниматься: Выстраивать и развивать системы сборки UNIX-продуктов Dr.Web (C++); Настраивать и...

Отправить резюме подробнее

11 Марта

Python Developer (Data Lake)

Санкт-Петербург

Компания "ATI.SU" Наш технический стек: Backend: Python, FastAPI Тестирование: pytest, Faker Frontend: JS, React, MobX Хранение...

Отправить резюме подробнее

11 Марта

Тестировщик/Manual QA Engineer

Санкт-Петербург

Компания "Улей" Привет, наш будущий коллега! Мы Digital HR компания «Улей» , разрабатываем HRM-решения на платформе Битрикс24: Корпоративный...

Отправить резюме подробнее

12 Марта

Cloud Engineer (OpenStack)

Санкт-Петербург

Компания "Сервер Молл" Ищем Cloud Engineer (OpenStack), который поможет развивать и масштабировать публичное облако Servermall cloud —...

Отправить резюме подробнее

12 Марта

Senior Data Analyst (Product, Marketing)

Санкт-Петербург

от 300 000 руб.

Компания "Горбилет" Привет! Мы — команда Горбилета, сервиса, который делает городскую культуру доступнее: экскурсии, туры, прогулки на...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: