Разработчик Big Data
01 Декабря 2024
Город:
Санкт-Петербург
Занятость:
Полная занятость
Компания "Mail.ru Group"
Команда Data Platform занимается всей инфраструктурой для работы с данными в ОК. Наша платформа построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу, внедряя новые решения и дорабатывая существующие.
Особенности:
- big data: 3 hdfs-кластера общим объёмом ~200PB;
- high load: обслуживаем десятки тысяч серверов;
- high available: все серверы расположены в 6 разных дата-центрах;
- не enterprise: разрабатываем решения, которые сами же и используем;
- stack: Hadoop-3.1.x, Kafka-2.4.x, Spark-3+, ClickHouse, Airflow;
- lang: Java, Scala, Python, Bash.
Задачи:
- развитие платформы хранения и обработки больших данных OK;
- развитие аналитической инфраструктуры на базе One-Cloud для OK и других команд VK;
- миграция данных в единое хранилище в рамках холдинга.
Требования:
- хорошее знание Java/Scala;
- опыт работы и понимание внутреннего устройства: Hadoop, Spark, Airflow.
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
05 Ноября
Typescript разработчик( Протей, НТЦ )
Санкт-Петербург
от 282 500 руб.
Компания "Протей, НТЦ" ПРОТЕЙ — группа российских ИТ-компаний полного цикла. С 2002 года мы разрабатываем и производим продукты для...
05 Ноября
Frontend-разработчик (React)( SL Soft )
Санкт-Петербург
Компания "SL Soft" Citeck – это OpenSource-решение для управления кейсами, бизнес-процессами и корпоративным контентом. Нашей команде не...
06 Ноября
Специалист по внедрению и обучению нейросетей (Data-science, Python, Computer Vision, алгоритмы)
Санкт-Петербург
от 120 000 руб.
Компания "Алабуга, ОЭЗ ППТ" ОЭЗ «Алабуга» — это инфраструктурный партнер полного цикла, который обеспечивает кадровую, социальную, промышленную...
06 Ноября
Санкт-Петербург
до 300 000 руб.
Компания "Choiceit" Российский многопрофильный холдинг, объединяющий активы в области электроэнергетики и инновационных систем. В данный момент...
06 Ноября
Санкт-Петербург
от 150 000 руб.
Компания "РЭД" Мы в RED занимаемся разработкой и поддержкой платформы Topnlab — это SaaS решение для рынка недвижимости в РФ, которое...
Вакансия размещена в отрасли