Senior LLM Engineer (в архиве)

27 Ноября

Партнерские Вакансии

Город:

Санкт-Петербург

Занятость:

Полная занятость

Опыт:

Более 6 лет

Компания "High Sky"

Мы - динамично развивающийся стартап, решающий различные задачи AI в соревновательном формате: генерация текста, аудио и видео, обогащение данных, предиктивная аналитика. Мы осуществляем полный цикл работы над продуктом: от анализа бизнес-задачи до вывода в продакшен полноценного решения

Находимся в поиске эксперта по обучению LLM

Чем предстоит заниматься:
Главная задача: обучить одного LLM-агента для решения разных задач (instruction tuning):
math solving
sql generation
programming

Подзадачи:
- Fine-tuning LLM:
Cross-domain generalization, Trajectory fine-tuning, Behavior Cloning
- Эксперименты с различными способами обучения: SFT, DPO, PPO, GRPO, RLHF, PEFT, Knowledge distillation
- Сбор, очищение данных
- Выбор архитектур и pre-trained моделей
- Объединение моделей и адаптеров

Требования к кандидату:
- Опыт обучения LLM (fine-tuning / pre-training) от 2 лет
- Опыт применения различных методов обучения LLM
- Опыт с различными pre-trained моделями
- Опыт работы с экосистемой huggingface: transformers, datasets, peft, trl
- Хорошее понимание теоретической базы: NLP, transformers, LLM.
- Понимание всех циклов предобучения и файнтюнинга
RL, classic ML
- Опыт коммерческой разработки с нуля
- Опыт работы от 6 лет
- Высшее образование в области компьютерных технологий / прикладной математики и (или) прикладной информатики;

Будет плюсом:
- Научные исследования по Computer Science
- Призовые места в соревнованиях (kaggle, boosters), опыт участия в хакатонах
- ШАД / Школа 21

Что мы предлагаем:
- Участие в разработке динамично развивающегося продукта, работающего на рынке в реальном времени;
- Справедливую заработную плату по результатам собеседования и вашей квалификации в вилке 8.000$-15.000$;
- Возможность прокачивать свою экспертизу за счет работы с топовыми коллегами и обучения в моменте;
- Классный молодой коллектив профессионалов, заряженных на результат.
- Ценим порядочность, честность и открытость;
- Возможность реализовывать смелые и амбициозные инициативы;
- Горизонтальную структуру, отсутствие бюрократии и синдромов «больших начальников»;
- Мы за результат, а не процесс. У всех наших сотрудников удобный график и полностью удаленная работа.
Если увидел в этом описании себя - скорее откликайся, чтобы стать частью нашей команды!
Похожие вакансии

25 Декабря

QA Automation Engineer Python( РВД Инфосистемы )

Санкт-Петербург

Компания "РВД Инфосистемы" Мы- аккредитованная IT компания. Ищем сотрудника для удаленного формата работы работы, ищем опытного QA Automation...

Отправить резюме подробнее

22 Декабря

Site Reliability Engineer (SRE)( Тинькофф )

Санкт-Петербург

Компания "Тинькофф" Т-Банк — это амбициозные ИТ-проекты и высоконагруженные системы: от мобильного банка и облачного колл-центра до...

Отправить резюме подробнее

26 Декабря

Senior System Analyst( ЦРТ | Группа компаний )

Санкт-Петербург

Компания "ЦРТ | Группа компаний" Мы в поиске старшего системного аналитика для развития сложной распределенной высоконагруженной биометрической...

Отправить резюме подробнее

22 Декабря

Middle QA Engineer

Санкт-Петербург

Компания "Шабатин Валерий Васильевич" Международная геймдев-компания ищет Middle QA Engineer , который присоединится к команде тестировщиков...

Отправить резюме подробнее

22 Декабря

Senior Frontend-разработчик (Vue.js)( CarTaxi )

Санкт-Петербург

Компания "CarTaxi" CarTaxi — быстро-развивающаяся IT-компания, которая уже заявила о себе на всю страну. Нашим мобильным приложением по...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: