Разработчик Big Data

01 Декабря

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Компания "Mail.ru Group"

Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.

Особенности:

  • big data: 3 hdfs-кластера общим объёмом ~200PB;
  • high load: обслуживаем десятки тысяч серверов;
  • high available: все серверы расположены в 6 разных дата-центрах;
  • не enterprise: разрабатываем решения, которые сами же и используем;
  • stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
  • lang: Java, Scala, Python, Bash.

Задачи:

  • развитие платформы хранения и обработки больших данных OK;
  • развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
  • миграция данных в единое хранилище в рамках холдинга.

Требования:

  • хорошее знание Java/Scala;
  • опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.
Будет плюсом опыт работы с Apache Kafka, ClickHouse.

Открыть контакты работодателя на полной версии сайта

ОТПРАВИТЬ РЕЗЮМЕ
Похожие вакансии

05 Ноября

Typescript разработчик( Протей, НТЦ )

Санкт-Петербург

от 282 500 руб.

Компания "Протей, НТЦ" ПРОТЕЙ — группа российских ИТ-компаний полного цикла. С 2002 года мы разрабатываем и производим продукты для...

Отправить резюме подробнее

05 Ноября

Frontend-разработчик (React)( SL Soft )

Санкт-Петербург

Компания "SL Soft" Citeck – это OpenSource-решение для управления кейсами, бизнес-процессами и корпоративным контентом. Нашей команде не...

Отправить резюме подробнее

06 Ноября

Специалист по внедрению и обучению нейросетей (Data-science, Python, Computer Vision, алгоритмы)

Санкт-Петербург

от 120 000 руб.

Компания "Алабуга, ОЭЗ ППТ" ОЭЗ «Алабуга» — это инфраструктурный партнер полного цикла, который обеспечивает кадровую, социальную, промышленную...

Отправить резюме подробнее

06 Ноября

Разработчик 1С (ERP)

Санкт-Петербург

до 300 000 руб.

Компания "Choiceit" Российский многопрофильный холдинг, объединяющий активы в области электроэнергетики и инновационных систем. В данный момент...

Отправить резюме подробнее

06 Ноября

PHP-разработчик( РЭД )

Санкт-Петербург

от 150 000 руб.

Компания "РЭД" Мы в RED занимаемся разработкой и поддержкой платформы Topnlab — это SaaS решение для рынка недвижимости в РФ, которое...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: