Data Engineer (AI focused)

Компания "Marfatech"

Привет! Мы - аккредитованная IT-компания MarfaTech, разрабатывающая собственные высокотехнологичные продукты для b2b клиентов глобальных рынков.
У нас большая экспертиза в используемых технологиях и мало legacy. Мы любим свой код и поддерживаем его в актуальном состоянии. На проектах используем самые актуальные и современные технологии.

Наши ценности:
Мастерство - Мы профессионалы своего дела и всегда увеличиваем свое мастерство!
Осознанность - Мы точно знаем, что мы делаем и зачем!
Сотрудничество - Мы помогаем друг другу быть лучше в том, что мы делаем!

И мы ищем в команду Data Engineer AI focused.

Используемый стек технологий:

Data Ingestion & Streaming: Debezium, Kafka, FastAPI.
Data Lake & Warehouse: AWS S3, Snowflake.
Data Orchestration & Transformation: Airflow, DBT.
AI Agent & Automation: n8n, Dify.

Что нужно делать:

• Проектирование, создание и поддержка конвейеров данных (с использованием Airflow, Python, DBT и Snowflake), которые будут снабжать нашего ИИ-агента критически важными метаданными из всего нашего стека данных;
• Разработка модели данных в Snowflake, которая будет содержать структурированные метаданные, необходимые для базы знаний агента, с применением передовых методов многомерного моделирования и настройки производительности;
• Разработка, тестирование и поддержка надежных и масштабируемых преобразований данных с использованием DBT для обеспечения доступа агента к чистой, надежной и актуальной информации о наших информационных ресурсах;
• Руководство архитектурой и разработкой сложного ИИ-агента на платформах n8n и Dify;
• Реализация и оптимизация конвейера извлечения-дополненной генерации (RAG), включая извлечение данных, их фрагментацию, встраивание и хранение в векторной базе данных для обеспечения возможностей извлечения знаний агента;
• Обеспечивать управление данными и качество данных, внедряя автоматизированные проверки и отслеживаемость, чтобы гарантировать достоверность, точность и проверяемость ответов агента;
• Создавать и поддерживать понятную техническую документацию по конвейерам данных и архитектуре агента, чтобы гарантировать удобство обслуживания и понятность системы.

Наши ожидания от кандидата:

• Более 2 лет практического опыта работы в должности Data Engineer, включая успешный опыт создания и поддержки конвейеров данных промышленного уровня в облачной среде;

• Свободное владение SQL и Python для обработки данных, построения конвейеров и автоматизации;

• Опыт построения рабочих процессов на платформах автоматизации, таких как n8n, Dify, Make или Zapier;

• Прагматичный, ориентированное на продукт мышление со страстью к созданию инструментов, решающих реальные инженерные проблемы и повышающих производительность труда разработчиков.

• Опыт работы с нашими источниками данных и сопутствующим стеком (например, FastAPI, Debezium, Kafka, AWS S3);

• MLops, практический опыт интеграции с API LLM (например, OpenAI, Anthropic, Google Gemini) или локального развертывания моделей;

• Глубокий практический опыт работы с нашим основным стеком данных или аналогичными технологиями: Snowflake для хранилищ данных, DBT для преобразований и Airflow для оркестровки;

• Глубокое прикладное понимание концепций хранилищ данных, многомерного моделирования, управления данными и современных архитектур данных.

Будет плюсом:

• Практический опыт работы с компонентами системы RAG, такими как создание векторных вложений и использование векторных баз данных (например, Pinecone, Weaviate, ChromaDB).

Мы предлагаем:

• Удаленный формат работы или современный комфортный офис рядом со ст.м. Динамо;

• Трудоустройство в аккредитованной белой IT-компании (предоставление всех IT-льгот);

• Достойный уровень заработной платы;

• Демократичную среду с возможностью предлагать и реализовывать свои идеи по улучшению сервиса и функциональности;

• Работу над сложными сервисами со множеством инженерных вызовов;

• Возможность карьерного роста;

• Возможность профессионального развития (обучение, конференции, литература, сильная команда высокого класса с большим опытом);

• Открытая и свободная friendly среда - у нас ты сможешь сам задавать тренды, а не следовать им;

• Кухня с завтраками, разнообразием фруктов, снеков и газировки;

• Разнообразные корпоративные и спортивные мероприятия;

• 50 % корпоративная скидка на изучение английского языка.