Разработчик ресурсной модели динамических таблиц YTsaurus

28 Октября

Партнерские Вакансии

Компания "Яндекс"

Для того чтобы одним кластером YTsaurus могли пользоваться все отделы Яндекса, нам нужен разработчик ресурсной модели, которому интересно погружаться в тонкости работы железа и ядра и создавать понятную простую модель разделения ресурсов кластера между пользователями.

Динамические таблицы YTsaurus представляют собой многопользовательское key value storage, одним кластером которого пользуется сразу множество команд Яндекса. Как и любая многопользовательская система, для обеспечения бесперебойной работы YTsaurus предоставляет механизмы изоляции и квотирования ресурсов между пользователями.

Разработка ресурсной модели затрагивает сразу несколько областей: системное программирование, SRE и даже комбинаторную оптимизацию. Нужно добавлять новые ресурсы в модель, дорабатывать и придумывать новые механизмы изоляции и решать задачу упаковки на кластере. Несмотря на то что мы полагаемся на существующую систему облачных контейнеров и их планировщик, при наших объёмах кластеров приходится достаточно аккуратно под них подстраиваться.

Какие задачи вас ждут:

• Новые машины. Ресурсная модель предлагает пользователям выбрать контейнеры определённого размера. При этом не всегда такие контейнеры хорошо ложатся на машины новой поставки (из-за особенностей железа). В таком случае нужно адаптироваться к новой поставке: выбрать достаточно хорошие размеры и для старой нагрузки, и для новой.
• Ресурсная модель для дисков. В YTsaurus используется decoupled storage — хранилище, в котором слой хранения отделён от слоя вычисления и обработки данных. При этом нагрузка на диски довольно высокая и в ряде сценариев настолько большая, что хранилище может не справиться. Нужно добавить в ресурсную модель понятие нагрузки на диски, чтобы пользователям можно было гарантировать выделенную полосу с учётом того, что диски общие и доступ к ним — по сети.
• Бенчмарки. Пользователи часто интересуются, какого размера контейнеры выбрать и сколько их нужно. Для того чтобы предоставить большому количеству пользователей адекватный выбор, нужно аккуратно измерить производительность на достаточном количестве типов нагрузки. Несмотря на кажущуюся простоту, практика показывает, что сделать хорошие бенчмарки очень сложно. В процессе всплывают простые и не очень простые возможности улучшения системы и окружения. Это задача для тех, кто хочет очень глубоко погрузиться в особенности работы динамических таблиц YTsaurus и железа.

Мы ждём, что вы:

• Умеете программировать на C++
• Любите погружаться в особенности работы железа и ядра Linux
• Нацелены на построение надёжного сервиса для пользователей

Будет плюсом, если вы:

• Работали с нагруженным железом: дисками или сетью или соответствующей подсистемой в ядре Linux
• Знакомы с SRE-практиками, используете и развиваете инструменты интроспекции
• Активно участвуете в кросс-командном взаимодействии

Что мы предлагаем:

​​​Расширенная медицинская страховка начинает работать с первого месяца в Яндексе. В неё входят стоматология, ежегодные чекапы, неотложная помощь за рубежом, лечение критических заболеваний, в том числе онкологии, и страхование от несчастных случаев.

А также:

• психотерапия в офисе или онлайн-сервисах;
• лазерная коррекция зрения через год работы;
• ведение беременности и роды — через два года.

Страховка для родственников по системе 80/20

Мы оплачиваем 80% стоимости ДМС для детей и супругов, вы — остальные 20%.

Внутренняя образовательная платформа, менторство и программы для начинающих и опытных руководителей.

А также:

• оплата участия в профильных конференциях;
• скидка 50% на изучение иностранных языков.

Кроме того, в Яндексе есть внутренние проекты, где наши сотрудники делятся экспертизой, обсуждают сложные темы и разбирают кейсы своих проектов.

Гибкий график

У нас нет фиксированного времени начала и конца рабочего дня — работайте так, как удобно вам и вашей команде.

Жилищные займы

Льготная ставка на покупку жилья и улучшение жилищных условий — в зависимости от стажа, позиции и результатов ревью. Действует для сотрудников, работающих в российских офисах Яндекса.

Всё для детей

Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.

И многое другое....