Тимлид в команду ML-инфраструктуры YTsaurus

02 Ноября

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Опыт:

Более 6 лет

Компания "Яндекс"

Мы начинаем новый крупный проект, в рамках которого планируем сделать жизнь ML-разработчиков в Яндексе удобнее.

Пользователями нового сервиса станет большинство ML-разработчиков Яндекса. Это сотни команд, которые обучают модели для таких продуктов, как Алиса, Нейро, Шедеврум.

Ключевые компоненты будущего сервиса:

  • Managed Dev Cluster для удалённой разработки и тестовых запусков на GPU;
  • инструмент простого с точки зрения UX и эффективного запуска процессов обучения на гигантском кластере YTsaurus с тысячами GPU;
  • оркестратор, который позволит описывать графы подготовки данных на Python и SQL;
  • решение для трекинга ML-экспериментов (по смыслу похожее на Weights & Biases);
  • MLOps-cистема для хранения жизненного цикла моделей и управления им.

Ищем тимлида, который знает, что такое разработка сложных систем и машинное обучение. Вы возглавите команду разработки нового сервиса, которая в том числе будет обеспечивать бесперебойную работу системы и поддержку пользователей.

Мы планируем сделать продукт, который будет тесно работать с опенсорс-платформой YTsaurus, которая уже используется в Яндексе для хранения большинства данных и запуска задач машинного обучения. В перспективе мы надеемся выложить новый продукт в open source.

Если вы хотите принять участие в строительстве нового мира ML, который немыслим без суперкомпьютеров, — эта позиция для вас! Ведь Яндекс — одна из немногих компаний в мире, где это возможно.

Какие задачи вас ждут

— Руководство командой
У вас в подчинении будет команда из 3–4 опытных инженеров.

— Развитие существующего сервиса для трекинга экспериментов
В компании есть сервис для трекинга экспериментов, которым пользуется множество команд. Нам предстоит переосмыслить его и встроить в новую концепцию. Нужно сделать это аккуратно, поддерживая текущий сервис и не ломая рабочий процесс у пользователей.

— Создание новых сервисов для упрощения работы ML-инженеров в Яндексе
Мы разрабатываем глобальный план развития всей ML-инфраструктуры Яндекса. Вместе с командой вы будете продумывать отдельные части этого плана, а также участвовать в реализации новых сервисов будущей ML-платформы Яндекса.

Мы ждём, что вы

  • Имеете богатый опыт разработки сложных систем на C++, Go или Java (одного будет достаточно)
  • Знаете Python, можете читать и делать review кода.
  • Способны взять под свою ответственность небольшую команду и набор сервисов, которые она развивает
  • Готовы разбираться в разработке ML-моделей в Яндексе, а также создавать и внедрять новые инфраструктурные решения

Будет плюсом, если вы

  • Работали с ML-инструментами: W&B, DVC, MLflow, Kubeflow и другими
  • Знакомы с инфраструктурными системами (Docker, Kubernetes, Ray, Slurm)
  • Управляли командой разработчиков
  • Участвовали в создании и внедрении инфраструктурных решений в больших компаниях
Похожие вакансии

26 Октября

Руководитель группы телекоммуникаций (Производство, инфраструктура ИТ)( Интернешнл Пейпер )

Выборг

Компания "Интернешнл Пейпер" Системообразующее предприятие федерального уровня по производству целлюлозно-бумажной продукции, ищет себе в...

Отправить резюме подробнее

27 Октября

Ведущий инженер-программист 1С в команду эксплуатации

Санкт-Петербург

Компания "СБЕР (ООО еАптека)" СБЕР ЕАПТЕКА – одна из крупнейших интернет - аптек в России. Мы меняем индустрию, чтобы сделать здоровье...

Отправить резюме подробнее

27 Октября

Руководитель направления поддержки площадки (инфраструктура ИБ)( Газпром нефть )

Санкт-Петербург

Компания "Газпром нефть" Кто мы: Мы – команда «Газпромнефть ИТО», единого оператора ИТ-инфраструктуры для компаний в составе «Газпром...

Отправить резюме подробнее

28 Октября

Разработчик на Go в команду лояльности Яндекс Пэй

Санкт-Петербург

Компания "Яндекс" Яндекс Пэй — один из самых больших и перспективных финтех-сервисов Яндекса. Мы предоставляем пользователям возможность...

Отправить резюме подробнее

28 Октября

Старший разработчик в группу GPU-инфраструктуры

Санкт-Петербург

Компания "Яндекс" Наше облако помогает максимально эффективно использовать ресурсы Яндекса. Мы разрабатываем и оптимизируем сервисы...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: