Senior Data Platform Engineer

Компания "HuntIT"

О нас:
HuntIT - это передовое рекрутинговое агентство, которое специализируется на поиске и подборе высококвалифицированных специалистов в сфере IT и Digital, сотрудничает с ведущими IT-компаниями, рекламными агентствами и работает над крупными проектами.

О компании-заказчике:
01.tech – IT-компания, создающая передовые веб-платформы, оказывающие влияние на мировую индустрию!
Основная цель – создание высоконагруженных систем, ежедневно обрабатывающих десятки тысяч запросов в секунду, терабайты данных и поддерживающие более 100 миллионов пользователей по всему миру.

В связи с активным расширением 01.tech мы находимся в поисках Senior Data Platform Engineer.

Твоя миссия:
Спроектировать и выстроить следующее поколение нашей платформы данных, чтобы сделать работу десяткой дата-инженеров и сотен аналитиков максимально эффективной, стандартизированной и надежной.

Чем ты будешь заниматься:

• Создавать основу данных компании: В сотрудничестве с DataOps ты будешь разрабатывать и поддерживать ядро нашей платформы — платформенные ETL-сервисы, высоконагруженные CI/CD пайплайны, прозрачный мониторинг и многое другое.
• Развивать экосистему Airflow: Ты не просто будешь писать плагины, а создашь внутренний фреймворк для Airflow, который станет стандартом для всех инженеров компании по созданию отказоустойчивых и наблюдаемых DAG.
• Умножать производительность команды: Ты разработаешь ключевые Python-библиотеки и инструменты (в том числе с использованием dbt), которые абстрагируют сложность и позволяют дата-инженерам и аналитикам сосредоточичиться на логике, а не на инфраструктуре.
• Принимать архитектурные решения: Ты будешь влиять на выбор технологий и архитектурных паттернов для работы с большими данными (Spark, Iceberg) и аналитическими СУБД (ClickHouse, Vertica), обеспечивая масштабируемость и производительность на годы вперед.

Наш стек и твои будущие инструменты:

• Создавать платформу данных компании: В плотном сотрудничестве с DataOps ты будешь разрабатывать и поддерживать ядро нашей платформы — разнообразные ETL-сервисы, платформенные CI/CD пайплайны, прозрачный мониторинг и многое другое.
• Развивать экосистему dbt+Airflow: Ты не просто будешь писать плагины, а создашь внутренний фреймворк для dbt+Airflow, который станет стандартом для всех инженеров компании по созданию отказоустойчивых и наблюдаемых DAG.
• Умножать производительность команды: Ты разработаешь ключевые Python-библиотеки и инструменты, которые абстрагируют сложность и позволяют дата-инженерам и аналитикам сосредоточичиться на логике, а не на инфраструктуре.
• Принимать архитектурные решения: Ты будешь влиять на выбор подходов и архитектурных паттернов для работы с большими данными (Spark, Iceberg) и аналитическими СУБД (ClickHouse), обеспечивая масштабируемость и производительность на годы вперед, а также привносить новые технологии (Duckdb, Starrocks, весь modern Data Stack).

Будет значительным преимуществом:
Мы ценим глубокое системное мышление и стремление к профессиональному росту. Нас особенно впечатлят:

• Приверженность мастерству: Сертификаты или курсы по инженерии данных, а главное — портфолио на GitHub с реализованными проектами, которые демонстрируют ваш подход к решению сложных задач.
• Опыт с высоконагруженными пайплайнами: Практика построения отказоустойчивых потоков данных не только на Apache Airflow, но и с применением Kafka для обработки данных в реальном времени.
• Архитектурная грамотность: Глубокое понимание принципов построения корпоративных хранилищ данных и современных парадигм, например, таких как Data Mesh.
• Экспертиза в безопасности: Знание и практическое применение основ безопасности данных (работа с ПД, управление доступом, шифрование), что критически важно для создания надежной и доверенной платформы.

Условия:

• Качественный опыт, рост скиллов и максимально комфортная рабочая атмосфера;
• Гибкое начало рабочего дня с 9:00 до 11:00 по МСК;
• Удалённый или гибридный формат работы;
• Полностью оборудованное рабочее место с предоставлением техники;
• ДМС со стоматологией после испытательного срока;
• Компенсация занятий спортом, английского языка и сессий с психологом;
• Зоны отдыха с настольным теннисом, самокатами и кухней;
• Корпоративная библиотека;
• Корпоративы с выездами на природу и призами, тимбилдинги, мастер-классы и т. д.