Инженер данных

Мы в поисках талантливого Инженера данных в Направление развития инструментов платформы. Команда строит Data-платформу внутри Магнита - современное хранилище данных Data Lake. Ребята разрабатывают инструменты для интеграции данных в Data Lake. В фокусе — платформа и инструментарий, чтобы другие команды могли загружать данные самостоятельно! Стек: Python, Apache Airflow, Apache Spark, Apache Iceberg, Trino, Impala

Задачи:
Разрабатывать и развивать платформы batch- и CDC-инжеста данных в Data Lake
Проектировать платформенные компоненты и API для подключения источников, заниматься настройками загрузок и управлять жизненным циклом данных
Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium
Разрабатывать механизмы надёжности: отвечать за контроль качества и полноты данных, обрабатывать ошибки, повторные запуски и восстановление загрузок
Проводить анализ и заниматься оптимизацией производительности, масштабируемости и потребления ресурсов платформы
Подключаться к сопровождению потоков при сложных инцидентах

Требования:
Опыт коммерческой разработки на Python от 2–3 лет, умение писать поддерживаемый и тестируемый код
Уверенное знание SQL, принципов моделирования и хранения данных, особенностей распределённых вычислений
Опыт работы с Apache Airflow и Apache Spark
Понимание архитектуры и принципов эксплуатации распределённых систем

Мы предлагаем:
Оформление в аккредитованную ИТ-компанию
Конкурентоспособную заработную плату (обсуждается индивидуально)
ДМС со стоматологией и льготными условиями для членов семьи
Технику для работы
График работы 5/2 с гибким началом
Работу в максимально уютном офисе в центре Москвы (ст. м. Савёловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
Развитие – мы оплачиваем обучение на курсах и участие в конференциях
Возможность проведения и участия в митапах, хакатонах, где можно познакомиться с работой других подразделений
Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
Наличие корпоративной библиотеки курсов
Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе