Senior Data Engineer (ETL-миграция)

Позиция: Senior Data Engineer (ETL-миграция)
ЗП: 250 000 - 270 000 на руки
Занятость: Полная
Формат работы: Удаленный
Локация: РФ, часовой пояс МСК ± 3ч
Оформление: только как ИП
Компания: Top Selection
Сфера проекта: телеком

Привет! Меня зовут Марина. Я представляю группу компаний Top Selection.
Мы занимаемся трудоустройством IT специалистов на проектную занятость.
На данный момент мы в поиске Senior Data Engineer (ETL-миграция) для участия в миграции ИС на Apache стек.

Требования
Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
Оптимизация SQL для highload (партиционирование, индексы, explain plans)
Oracle (PL/SQL) и PostgreSQL
Greenplum и/или Clickhouse
Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
Hadoop (HDFS) и Hive
Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
Опыт работы с биллинговыми системами (желательно телеком-домен)

Как преимущество
Потоковая обработка: Kafka Streams / Spark Streaming
Informatica PowerCenter (понимание мигрируемой системы)
Бинарные форматы хранения в Hadoop
Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL
Patroni для кластеризации PostgreSQL/Greenplum
S3-хранилища
КриптоПро или защищенные каналы передачи данных

Задачи
Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
Написание и оптимизация SQL для витрин данных и ETL-процессов
Разработка DAG-ов в Airflow
Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
Разработка Spark-джобов (PySpark) для больших объемов
Интеграция с Kafka для потоковой передачи
Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
Разбор инцидентов по качеству данных и ошибкам загрузки
Code review

Откликнуться: [контакты и ссылка отклика — после бесплатной регистрации]