Data Quality Engineer

Что предстоит делать
- Спроектировать модель качества: измерения, метрики и SLO на датасеты.
- Определить уровни критичности и пропорциональные требования к проверкам, алертингу и реакции на нарушения.
- Построить движок проверок и встроить его в жизненный цикл данных: сначала в трансформации и витрины SMT, затем масштабировать на остальные части платформы.
- Сделать базовые проверки автоматическими: генерировать их из метаданных при создании и обновлении датасетов.
- Дать пользователям язык для сложных проверок декларативный конфиг, SQL-правила или собственный подход. Выбор за тобой.
- Реализовать quality gates: карантин, блокировку публикации, остановку пайплайна, fallback или откат там, где это возможно.
- Настроить наблюдаемость: адресный алертинг, дашборды состояния датасетов, health-score, контроль ложных срабатываний и разбор причин.
- Использовать lineage из OpenMetadata для impact-анализа и вместе с Data Governance развивать data contracts: сначала в SMT, затем на границе с источниками.
- Сделать проверки частью инженерного цикла: версионировать их как код, проводить ревью и доставлять через CI/CD.
- Поддержать миграцию существующих процессов на платформу: построить сверку старого и нового контуров и доказательно подтверждать совпадение цифр.
- Совместно с Data Governance и владельцами данных задавать стандарты покрытия и ревью.
- Помогать инженерам применять инструменты, а не писать все проверки за них.
- Работать с аналитиками как с пользователями: разбираться, где им больно, и делать инструмент, которым пользуются добровольно.

Стек: Python, SQL, Spark, Airflow, Kafka, S3, Iceberg, StarRocks, ClickHouse, Kubernetes, CI/CD. OpenMetadata для каталога и lineage внедряем сейчас.

Наши ожидания
- Имеешь опыт работы в роли Data Engineer или Data Quality Engineer от 3-х лет.
- Хорошо владеешь Python и SQL на уровне промышленной разработки, а не скриптов.
- Работал с распределённой обработкой: Spark, большие объёмы, понимание, где у обработки узкие места и сколько стоит лишний скан.
- Знаком с оркестрацией (Airflow или аналоги) и умеешь встраивать логику в пайплайны, а не рядом с ними.
- Разбираешься в дата-инфраструктуре: DWH и Data Lake, слои, модели данных, витрины.
- Имеешь опыт с инструментами качества данных Great Expectations, Soda, Deequ, dbt tests, Elementary или собственными решениями. Или строил такое сам.
- Понимаешь статистику на практическом уровне: умеешь отличить аномалию от сезонности и не завалить команду ложными алертами.
- Мыслишь продуктово: внутренний инструмент нужен не для галочки, а чтобы им пользовались.
- Умеешь договариваться и влиять без формальных полномочий: качество данных это всегда разговор с владельцами источников, инженерами и потребителями.

Плюсом будет
- Опыт построения self-service инструментов для аналитиков или разработчиков.
- Работа с открытыми табличными форматами.