Разработчик Big Data( Mail.ru Group )

03 Января

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "Mail.ru Group"

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.

Особенности:

  • big data: 3 hdfs-кластера общим объёмом ~200PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все серверы расположены в 6 разных дата-центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
  • lang: Java, Scala, Python, Bash.

Задачи:

  • развитие платформы хранения и обработки больших данных OK;
  • развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
  • миграция данных в единое хранилище в рамках холдинга.

Требования:

  • хорошее знание Java/Scala;
  • опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.
Будет плюсом опыт работы с Apache Kafka, ClickHouse.

Открыть контакты работодателя на полной версии сайта

ОТПРАВИТЬ РЕЗЮМЕ
Похожие вакансии

28 Декабря

Программист Web-разработчик Backend

Гатчина

от 70 000 до 80 000 руб.

Компания "DELTA" ✔️ DELTA — одна из ведущих IT-компаний юга России. Опыт работы в IT - с 2003г. Наши основные направления: создание и...

Отправить резюме подробнее

28 Декабря

Java разработчик (Middle/Senior)

Санкт-Петербург

от 270 000 до 400 000 руб.

Компания "WeMakeTeam" WMT Group - аккредитованная IT компания России и в нашу команду мы приглашаем JAVA разработчика Senior/Middle уровня...

Отправить резюме подробнее

28 Декабря

Middle Data Scientist( Совкомбанк Технологии )

Санкт-Петербург

Компания "Совкомбанк Технологии" Мы приглашаем сотрудника в команду сервисов отдела телефонии, который будет ответственен за создание и улучшение...

Отправить резюме подробнее

28 Декабря

Android-разработчик( Совкомбанк Технологии )

Санкт-Петербург

Компания "Совкомбанк Технологии" СОВКОМБАНК ТЕХНОЛОГИИ - аккредитованная IT-компания, входит в группу компаний Совкомбанка. Недавно мы вошли в...

Отправить резюме подробнее

28 Декабря

Аналитик - разработчик SQL/BI

Санкт-Петербург

Компания "ОКЕЙ – Федеральная розничная сеть" Коротко о компании: «О’КЕЙ» – одна из крупнейших розничных сетей в России по торговле...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: