Data Engineer (remote)

О проекте: За время существования компании мы накопили много данных и разных инструментов аналитики. На этих данных мы строим предложения для новых клиентов и продлеваем старых, проводим переговоры с клиниками и непосредственно помогаем нашим пациентам. Главная задача - весь этот информационный поток перенести в чётко организованную систему сбора, обработки и анализа данных любого объёма. Сейчас мы планируем вести сборку data lake house на базе GreenPlum, куда будут сливаться данные всех источников, таких как, PostgreSQL, Yandex, Google drive, сторонние API и др.). Мы мигрируем туда с Postgres+Astroniomer. Также у нас будет большой проект с фичастором и MLFLOW.

В твоих задачах будет много архитектуры и хорошего продакшн кода, перенос, рефакторинг старого и написание очень динамического и автоматизированого нового, а также опыт с очень крутым датасайнсом, аналитикой и продуктом. В целом, тебе предстоит:
- Мигрировать даги с Airflow c Астрономера на Кубер;
- Развивать и оптимизировать GreenPlum(PXF) даги;
- Пилить Data Managment нового поколения;
- Интегрировать сторонние API.

Что для нас важно:
- Опыт программирования на Python 3;
- Опыт работы с Airflow;
- Отличные знания и опыт работы с SQL;
- Опыт работы с GreenPlum и PostgreSQL;

Дополнительным плюсом будет:
- Опыт работы с Apache Kafka;
- Навыки в DevOps / опыт работы с Docker;
- Опыт работы с Apache Spark;
- Опыт работы с хранилищами (DataVault Anchor LakeHouse FeatureStore).

Почему с нами круто:
- Мы меняем рынок медицинского страхования, и у нас это отлично получается;
- В нас поверили и проинвестировали топовые венчурные фонды в России: российский Winter Capital, шведский VNV Global и австрийская страховая компания Uniqa;
- Удаленный формат работы (будем рады тебя видеть у нас в офисе);
- У нас гибкий график работы, который подойдет как жаворонку, так и сове;
- Тебя будет окружать команда талантливых и мотивированных людей;
- Мы предоставим тебе ноутбук и всю необходимую технику, которая позволит эффективно и комфортно работать;
- Медицинское обслуживание через систему BestDoctor.

Ты будешь частью большого социально значимого дела. Мы реализуем амбициозную задачу — меняем рынок здравоохранения, действительно помогаем людям, и у нас это отлично получается. И у тебя получится!