Разработчик Big Data

06 Января

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "Mail.ru Group"

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.

Особенности:

  • big data: 3 hdfs-кластера общим объёмом ~200PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все серверы расположены в 6 разных дата-центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
  • lang: Java, Scala, Python, Bash.

Задачи:

  • развитие платформы хранения и обработки больших данных OK;
  • развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
  • миграция данных в единое хранилище в рамках холдинга.

Требования:

  • хорошее знание Java/Scala;
  • опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.
Будет плюсом опыт работы с Apache Kafka, ClickHouse.

Открыть контакты работодателя на полной версии сайта

ОТПРАВИТЬ РЕЗЮМЕ
Похожие вакансии

09 Января

Frontend-разработчик( Екомселлер )

Санкт-Петербург

от 140 000 руб.

Компания "Екомселлер" Обязанности: Разработка и поддержка функциональных компонентов Рефакторинг кода Review младших сотрудников по...

Отправить резюме подробнее

09 Января

React разработчик (WebRTC)( Протей, НТЦ )

Санкт-Петербург

от 282 500 руб.

Компания "Протей, НТЦ" ПРОТЕЙ — группа российских ИТ-компаний полного цикла. С 2002 года мы разрабатываем и производим продукты для...

Отправить резюме подробнее

09 Января

Data-scientist junior level

Санкт-Петербург

Компания "АНДАТА" Компания АнДата – IT компания, аккредитованная в Минцифры РФ (отсрочка от призыва в армию и частичной мобилизации),...

Отправить резюме подробнее

09 Января

Разработчик (php/js/MySQL/MSSQL)( Фармакор Продакшн )

Санкт-Петербург

Компания "Фармакор Продакшн" Обязанности: Разработка и поддержка веб-приложений на PHP8; Работа с базами данных MySQL и MSSQL, включая...

Отправить резюме подробнее

09 Января

Senior backend разработчик (kotlin/java)

Санкт-Петербург

до 500 000 руб.

Компания "ЛИПТ Софт" Привет! Липтсофт уже более 10 лет занимается разработкой финтех решений банковского и финансового сектора. Мы расширяем...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: