Data Engineer в команду CDP

О команде
Мы объединяем инженеров, аналитиков и ML-специалистов, которые строят систему, меняющую подход к данным в 2ГИС. Работаем с большими объемами событий, продумываем архитектуру под масштаб и надежность, ценим простые и элегантные решения. Каждый в команде влияет на архитектуру, подходы и направление развития CDP.

Наш стек
Backend: Go, gRPC
Frontend: TypeScript, React
Autotests: Python, Playwright, Allure
Infrastructure: Kubernetes, Kafka, ClickHouse, Spilo/PostreSQL, Spark, Airflow
Стек только формируется — ты сможешь повлиять на его развитие и архитектуру.

Тебе предстоит
Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
Решать сложные инженерные задачи: расчеты метрик, построение витрин.
Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
Влиять на архитектурные решения и качество кода.
Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Ждем от тебя
Опыт работы с highload-системами.
Опыт проектирования архитектуры данных или платформенного кода.
Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить.
Хорошо владеешь одним из языков программирования (например, Python или Scala).
Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.

Будет плюсом:
Опыт работы с Airflow.
Опыт анализа данных с использованием SQL.
Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).
Опыт построения Data Lineage и работы с Data Catalog.
Понимание подходов к персонализации, сегментации или real-time аналитике.
Понимание, как работает S3 хранилище.

Почему это круто
Масштаб: миллионы пользователей, миллиарды событий, сотни интеграций.
Рост: CDP — стратегическое направление, растем быстро и даем расти команде.
Свобода: минимум бюрократии, максимум ответственности.
Видимый результат: все, что ты делаешь, влияет на продукт, коммуникации и рекламу 2ГИС.