Разработчик в команду потоковых и федеративных запросов YDB

YDB — это распределённая отказоустойчивая реляционная база данных с открытым исходным кодом, которая сочетает высокую доступность, масштабируемость и производительность. Вместе с сопутствующим стеком serverless-технологий YDB позволяет организовать систему хранения и обработки данных для самых сложных и требовательных приложений.

Также YDB — это платформа для создания инфраструктурных компонентов. Мы предлагаем пользователям не только надёжные транзакции поверх таблиц, но и готовые решения на основе самого движка: персистентные очереди, федеративные запросы, сетевые диски для виртуальных машин (Yandex Network Block Store) и другое.

YDB используется в Маркете, Такси, Банке, Алисе и других сервисах Яндекса. Мы уже умеем обрабатывать миллионы запросов в секунду и надёжно хранить петабайты данных. На базе YDB построены решения для доставки платёжных данных в биллинг Яндекса и хранения логов в Yandex Cloud.

Наша команда разрабатывает облачный сервис Yandex Query и движок федеративных запросов в YDB. Yandex Query предназначен для анализа данных в Object Storage и потоковых данных из шины Yandex Data Streams с помощью SQL-запросов. Ближайшие аналоги нашего сервиса: AWS Athena, Microsoft Azure, Apache Flink, Google Cloud Dataflow.

Отличительные характеристики Yandex Query:
• федеративность — возможность работы с разными типами источников в одном запросе;
• гибридность — совмещённый синтаксис для стриминговых и батч-запросов;
• serverless — возможность работы с данными без предварительного заказа и выделения вычислительных мощностей;
• масштабируемость — один запрос может выполняться на нескольких узлах кластера;
• отказоустойчивость — отказ отдельных узлов и даже дата-центров не повлияет на работу пользователей.

Что предстоит делать:
• Разрабатывать core-engine-процессинг
• Продумывать безопасность работы пользовательского кода в облачном контуре
• Отвечать за интеграцию с разнородными хранилищами данных
• Решать сложные задачи в области распределённых систем и обработки данных в реальном времени

Больше о том, что под капотом платформы Yandex Cloud, — в канале Inside Yandex Cloud

Требования:
• Пишете на С++ более трех лет
• Знаете базовые алгоритмы и структуры данных
• Понимаете парадигму многопоточности, знакомы с основными подходами, проблемами и ограничениями в этой области

Будет плюсом:
• Работали с системами виртуализации и контейнеризации (k8s), с высоконагруженными распределёнными системами или другими облачными или serverless-платформами