Компания "Aston"
Аутсорсинговая аккредитованная IT-компания Aston приглашает стать частью команды. Мы работаем на рынке с 2007 года, а штат насчитывает 2500+ сотрудников.
Предоставляем услуги по разработке программного обеспечения и IT-аутсорсинга предприятиям, организациям и стартапам. Компания активно развивается в доменах: Finance, Healthcare, eCommerce, IoT, Media and Entertainment, Big Data, Machine learning, Deep learning.
Мы в поиске Data Engineer в свою команду профессионалов.
Заказчик: Ведущий российский продуктовый ритейлер. Компания управляет несколькими форматами розничной торговли: сеть бесконтактных магазинов под брендом «Пятерочка», сеть супермаркетов под брендом «Перекресток», сеть гипермаркетов под брендом «Карусель», интернет-супермаркет Perekrestok.ru и служба доставки 5Post. Также компания занимается доставкой посылок из интернет-магазинов в свои точки выдачи. Они уже работают с Aliexpress, Joom, OZON и активно подключают новые магазины.
Обязанности:
помогать коллегам Data Scientist в оптимизации их работающих пайплайнов, проявляя проактивность с предложениями по оптимизации;
взаимодействовать с коллегами DevOps по настройке окружений, деплою кода и работе с инфраструктурой компании;
настраивать и поддерживать стенды, с которых запускаются задания;
общаться с коллегами DQ, выяснять детали наполнения данных и участвовать в составлении БТ к данным;
писать ETL пайплайны;
решать неожиданные проблемы с данными и задержками их доставки;
настраивать мониторинг разнообразных процессов.
Требования:
опыт работы в роли Data Engineer от 3-х лет;
опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;
опыт оптимизаций sql-запросов и понимание оптимизаций на уровне Spark Catalyst;
опыт работы с MPP базами данных;
опыт работы с Airflow;
опыт работы с Postgres и Clickhouse;
опыт работы с Kubernetes (K8S);
опыт Devops: Docker, Gitlab-CI, настройка окружения на серверах и др.;
опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными;
опыт работы с операционной системой Linux;
уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0: структуры данных, алгоритмы, концепции языка;
уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
знание и практический опыт использования Pandas и NumPy для продвинутой аналитики;
глубокие теоретические знания стека технологий и практический опыт: Spark, Hadoop, Hive.
Что мы предлагаем?
Хорошая зарплата
Развитие в профессии
Комфорт и свобода
Обучение
Социальный пакет
Корпоративная жизнь
Адреса наших офисов
23 Октября
Senior QAA (Старший инженер по автоматизации тестирования)
Санкт-Петербург
Компания "Авроид" Мы – инженерная IT-компания, занимаемся разработкой прикладных кроссплатформенных приложений для ОС Аврора, Rosa, Astra,...
23 Октября
Санкт-Петербург
от 161 000 руб.
Компания "Хакель" Требования к кандидату: - высшее образование (разработка радиоэлектронной аппаратуры), - опыт практической разработки...
23 Октября
Data analyst / Аналитик данных (стажер)( Aston )
Санкт-Петербург
от 100 000 до 110 000 руб.
Компания "Aston" Мы — российская аккредитованная ИТ-компания, четырехкратный обладатель премии «Работодатель года» по версии Habr. C 2007 года...
23 Октября
Системный инженер / DevOps инженер (стажер)( Aston )
Санкт-Петербург
Компания "Aston" Мы — российская аккредитованная ИТ-компания, четырехкратный обладатель премии «Работодатель года» по версии Habr. C 2007 года...
23 Октября
Санкт-Петербург
Компания "ИСТ" Компания АО "Институт Сетевых Технологий" или "ИСТ" с 1996 года на рынке информационных технологий и телекоммуникационных...