Data Engineer (Senior)

Обязанности:
- развитие ядра платформы: фреймворка Data Vault, обвязки Airflow, lineage-инструментов; проектирование API для других инженеров и ответственность за их развитие;
- разработка библиотек и фреймворков на Python: клиенты к источникам данных, инструменты тестирования пайплайнов, обёртки над инфраструктурными компонентами;
- обеспечение качества кода через типизацию, тестирование и code review;
- работа с lakehouse-архитектурой: Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, разработка Spark-джоб для тяжёлых трансформаций;
- построение интеграций с источниками данных: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы; проектирование унифицированных интерфейсов подключения;
- внедрение AI-инструментов в инженерные процессы: агенты для расследования инцидентов, анализа качества данных, поддержки DAG'ов и code review;
- участие в архитектурных решениях: выбор технологий, проектирование интерфейсов между компонентами, формирование best practices;
- code review и менторинг менее опытных коллег.

Требования:
- промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном; ответственность за эксплуатацию production-систем;
- Python — главное требование; уровень senior: ООП, проектирование API библиотек, типизация, тесты;
- опыт работы с lakehouse-стеком и распределёнными вычислениями (Spark, Trino, Iceberg), Kafka/Debezium, Kubernetes, Airflow.

Условия: работа в Москве или удалённо.