Data scientist

Обязанности:
- Отбор и настройка языковых моделей (LLAMA, QWEN и др.) для различных задач: парсинг, семантический анализ, структурированный вывод
- Обучение моделей Spacy, промпт-инжиниринг, fine-tuning языковых моделей (Llama 3.1, Bert, e5-large, QWEN)
- Решение задач семантического анализа, матчинга, классификации текстов, выделения именованных сущностей, суммаризации текстов
- Разворачивание и оптимизация работы vLLM на сервере с GPU, настройка асинхронных запросов и обеспечение стабильности работы
- End-to-end разработка и внедрение ML-решений от идеи до production: сбор данных, обучение моделей, автоматизация расчетов, упаковка в сервисы и контейнеризация
- Разработка умных парсеров на основе языковых моделей для извлечения структурированных данных из HTML-страниц
- Разработка мультиагентных чатботов с использованием LangChain и LangGraph, настройка RAG-систем и модерации
- Разработка, рефакторинг, тестирование и разворачивание ETL-пайплайнов (Kafka, ClickHouse) и API (Flask, FastAPI)
- Создание серверов на FastAPI, настройка асинхронных обработок и интеграция с брокерами сообщений (Kafka)
- Мониторинг производительности и точности моделей, поддержка и развитие внедренных решений
- Проведение исследований и проверка гипотез с использованием LLM и классических ML-моделей
- Анализ трендов в области AI и NLP, исследование новых методов и подходов в машинном обучении

Достижения:
- Внедрение и настройка языковой модели на локальных серверах позволило снизить затраты бизнеса на запросы к языковым моделям на 40%
- Оптимизация работы vLLM позволила сократить время обработки запросов на 600%, что увеличило производительность всех сервисов и продуктов, использующих языковую модель
- Разработанный умный парсер повысил точность извлечения данных из HTML-страниц до 95%, а также добавил данным структурированность по сущностям
- Fine-tuning языковых моделей улучшил точность классификации при семантическом анализе текстов до 93%, что позволило увеличить конверсию в рекомендательной системе на 20%
- Разработанный мультиагентный чатбот снизил нагрузку на старые сервисы на 15%, обработав более 100 тысяч запросов за первый месяц работы
- Внедрение RAG-системы для чатбота увеличило точность ответов на 30%, что повысило удовлетворенность пользователей и повысило общий функционал продукта

Реализованные проекты:
- Развернута и настроена локальная языковая модель (LLM), способная без падений обслуживать высокие нагрузки со стороны пользователей
- Создан полностью рабочий пайплайн из 3 моделей, который классифицирует, суммирует и рекомендует контент на основе объектов из баз данных, увеличив вовлеченность пользователей в рекомендательной медиа-системе
- Разработан чатбот с использованием LangChain и RAG-систем, который обрабатывает запросы пользователей и предоставляет структурированные данные по сайтам
- Созданы инструменты, которые позволяют полностью автоматизировать процессы извлечения данных, сократив время обработки