Data Engineer в команду SMT

Что предстоит делать
Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform. Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse). Работать с большими объёмами данных и высоконагруженными Kafka‑топиками. Строить отказоустойчивые пайплайны обработки и доставки данных. Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных. Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP). Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).

Почему это интересно
Ты действительно будешь создавать платформу с нуля — не просто настраивать Airflow, а проектировать архитектуру верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой. Влияешь на технологический курс всей компании: твои решения будут использовать десятки команд. Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse и BI‑инструментами. Сможешь реализовать технические решения, которые трудно внедрить в рамках существующих подходов. Решаешь серьёзные инженерные задачи: миграция с Hadoop, масштабируемость, отказоустойчивость и строгие SLA по доставке данных.

Мы будем рады специалисту, который
Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer. Хорошо понимает, как работает Spark и умеет его готовить. Работал с ClickHouse и знает, как «выжать» из него максимум. Имеет опыт работы с высоконагруженной Kafka (десятки / сотни тысяч событий в секунду). Знаком с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance). Умеет проектировать пайплайны под отказоустойчивость. Хорошо владеет одним из языков программирования (например, Python или Scala). Знает SQL и может читать логику отчётов без боли.

Плюсом будут
Опыт построения дата‑платформ (Self‑Service инструменты и процессы). Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts). Опыт построения Data Lineage и работы с Data Catalog. Инфраструктурный опыт: Docker, Kubernetes, CI/CD.

Как мы работаем
Не боимся убирать легаси — осознанно избавляемся от устаревших решений. Оцениваем эффективность не по объёму кода, а по бизнес‑ценности. Любим, когда инженер предлагает нестандартные, но обоснованные решения. Считаем, что архитектура важна только тогда, когда её понимают — human‑friendly документация обязательна. Умеем договариваться — и с бизнесом, и друг с другом.

Что мы предлагаем
2ГИС — аккредитованная IT‑компания. Можно работать удалённо или в офисах (Москва, Санкт‑Петербург, Новосибирск) — главное результат, а не локация. Полностью «белая» зарплата. Заботимся о здоровье: ДМС, онлайн‑консультации терапевта, невролога, психолога и медицинского агента. Поддерживаем развитие: учебный центр, курсы, тренинги и книги для прокачки скиллов. Если хочешь делиться опытом — поможем с выступлениями на конференциях и публикациями на Хабре.