Компания "СимбирСофт,ООО"
Мы ищем человека, который будет отвечать за качество и развитие LLM-решений в продукте — от первых гипотез до стабильной работы в продакшене.
Что предстоит
проектировать архитектуру LLM-фичей: single-prompt решения, цепочки промптов, сложные пайплайны;
управлять поведением модели через промпт-инжиниринг (CoT, few-shot, structured outputs, tool calling и др.), подбор параметров и работу с контекстом — без fine-tuning;
совместно с продактами продумывать логику диалогов и пользовательские сценарии;
выстраивать систему оценки качества: golden-сеты, валидационные выборки, метрики, бенчмарки, LLM-as-a-judge;
анализировать продакшн-логи и фидбек пользователей, находить системные проблемы и улучшать решения;
участвовать в организации разметки данных — писать гайды, проверять результаты, при необходимости размечать самостоятельно;
вместе с разработчиками доводить решения до полноценной интеграции в продукт.
Что важно для нас
Практический опыт работы с LLM от 1 года: реальные кейсы, а не только эксперименты.
Уверенный Python и привычка работать с данными (Jupyter, pandas, визуализация).
SQL и понимание, как собрать датасет под задачу и проверить гипотезу.
Опыт работы с OpenAI API или аналогами.
Понимание, как тестировать LLM-решения: регресс-проверки, offline-метрики, human eval, A/B-тесты.
Будет плюсом
Автоматическая оптимизация промптов (GEPA и другие подходы).
Опыт выстраивания процессов разметки и автоматизации evaluation.
Работа с observability и eval-инструментами (LangFuse, MLflow, LangSmith, DeepEval и др.).
Опыт построения агентных систем и RAG-архитектур.
Знакомство с фреймворками оркестрации (LangChain, LangGraph или аналоги).
Мы предлагаем
* Решение Министерства цифрового развития, связи и массовых коммуникаций РФ о предоставлении государственной аккредитации организации, осуществляющей деятельность в области информационных технологий от 10.03.2022 №АО-20220309-3771014210-3
09 Апреля
Санкт-Петербург
Компания "Диплей" deeplay — продуктовая ИТ-компания. Мы создаём системы и решения в сфере интеллектуальных игр. Мы ценим идейных людей,...
09 Апреля
Инженер по гарантии( Русбизнесавто )
Санкт-Петербург
от 130 000 руб.
Компания "Русбизнесавто" Обязанности: Работа со специализированными программами производителя; Контроль выполнения отзывных и сервисных...
09 Апреля
Санкт-Петербург
Компания "Аквилон" Инженер-технолог Вы ищете возможность применить свои инженерные навыки в динамично развивающейся компании? Тогда у нас...
09 Апреля
Сервисный инженер( AN-SECURITY )
Санкт-Петербург
от 110 000 руб.
Компания "AN-SECURITY" Обособленное инженерное подразделение ООО "ФАЛЬК Техникс", занимающееся инженерными системами на строительных и...
09 Апреля
Ведущий инженер-технолог( КСК Системы привода )
Санкт-Петербург
от 150 000 до 170 000 руб.
Компания "КСК Системы привода" ООО "КСК Системы привода" специализируется на изготовлении и испытании комплектных систем приводов и...
Вакансия размещена в отрасли