MLOps инженер

07 Января

Партнерские Вакансии

Компания "Фертоинг"

Описание нашего проекта:

Разработка высоконагруженной системы для обработки и анализа видеопотоков с использованием технологий машинного обучения. В проекте применяются современные алгоритмы компьютерного зрения, такие как YOLO, для распознавания объектов в режиме реального времени

Обязанности:

• Организация и поддержка инфраструктуры для развертывания моделей машинного обучения в продакшене, с учетом требований высоконагруженной системы

• Автоматизация процессов доставки ML-моделей: настройка пайплайнов CI/CD для обучения, тестирования и деплоя моделей

• Мониторинг производительности моделей в продакшене: разработка и внедрение системы мониторинга, отслеживание метрик точности, задержек и отказоустойчивости

• Обеспечение повторяемости обучения моделей через управление версиями данных и моделей (например, с использованием DVC или аналогов)

• Настройка и управление окружением для обучения и тестирования моделей (включая использование Docker, Kubernetes и GPU-ускорение)

• Работа с хранилищами данных и оптимизация процессов загрузки и обработки больших объемов данных (например, видеопотоков).

• Обеспечение отказоустойчивости ML-компонентов, устранение узких мест в производительности

• Взаимодействие с разработчиками, аналитиками данных и DevOps-инженерами для интеграции моделей в общий продукт

• Документирование пайплайнов и процедур, чтобы обеспечить прозрачность и поддержку системы

• Опыт работы в ML Ops или DevOps со специализацией в области машинного обучения
• Опыт развертывания и сопровождения ML-моделей в высоконагруженных системах (желательно реального времени)
• Понимание всего жизненного цикла модели машинного обучения: от подготовки данных до внедрения в продакшен и мониторинга

2. Технические навыки:

• Владение инструментами для работы с ML-моделями: TensorFlow, PyTorch, ONNX
• Опыт работы с системами контейнеризации (Docker) и оркестрации контейнеров (Kubernetes)
• Знание инструментов для мониторинга производительности, таких как Prometheus, Grafana, или аналогов
• Опыт работы с пайплайнами CI/CD для моделей машинного обучения (например, GitLab CI/CD, Jenkins, MLflow)
• Умение работать с системами управления версиями данных и моделей, такими как DVC, MLflow, или аналогами
• Глубокое знание Linux и опыт работы с виртуальными машинами или GPU-инстансами для обучения моделей
• Знание языков программирования: Python (для работы с ML-библиотеками) и Bash (для автоматизации процессов)

3. Навыки работы с данными:

• Знание SQL для работы с данными в базах данных (SQLite, PostgreSQL)
• Навыки работы с распределенными файловыми системами и хранилищами больших данных (например, S3, HDFS)
• Опыт оптимизации работы с видеопотоками и больших объемов данных для их эффективной загрузки и обработки

4. Мониторинг и оптимизация моделей:

• Умение разрабатывать и внедрять системы мониторинга моделей (дрифт данных, ухудшение точности, производительность)
• Опыт автоматической переобучаемости моделей и работы с пайплайнами A/B-тестирования

5. Коммуникация и координация:

• Готовность взаимодействовать с аналитиками данных, разработчиками и DevOps-инженерами для интеграции решений
• Навыки документирования архитектурных решений и процедур, связанных с ML-инфраструктурой

Дополнительные навыки, которые будут Вашим преимуществом:

• Опыт работы с YOLO или аналогичными архитектурами для задач компьютерного зрения
• Знание и опыт работы с распределенными системами, такими как Apache Kafka или RabbitMQ, для обработки потоковых данных
• Опыт оптимизации моделей для работы на устройствах с ограниченными ресурсами (Edge AI)
• Знание платформ для управления экспериментами, такими как Weights & Biases

• Размер заработной платы определяется по результатам собеседования