Разработчик бэкенда в Data Transfer

Наша команда делает сервис для поставки данных, который связывает реалтайм-потоки данных на базе YDB Topics и систему хранения и обработки больших данных YTsaurus .

Сервис обрабатывает десятки тысяч поставок (а это петабайты данных) каждый день. Благодаря этому сервисы Яндекса могут решать задачи пакетной обработки (batch processing) и архивного хранения своих данных, а также многие другие.

Мы ищем опытного ответственного разработчика, который будет вместе с нами делать поставки быстрее, надёжнее и удобнее в использовании.

Наши преимущества
• Масштаб : возможность поработать с большими данными и познакомиться с тем, как с ними работают разные команды, получить или передать опыт в данной области.
• Крутые коллеги : мы близко и активно взаимодействуем с другими инфраструктурными сервисами, составляющими технологический фундамент Яндекса (в первую очередь это YTsaurus и YDB).
• Гибкий график и распределённая команда.

Что предстоит делать:
Оптимизация производительности и инфраструктурные задачи

Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании. Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом). Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники.

Повышение качества и упрощение эксплуатации

Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели. Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости.

Улучшение User Experience

Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей.

Работа над механизмом поставки exactly-once

Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки.

Развитие сервиса Data Transfer

Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса.

Больше о том, что под капотом платформы Yandex Cloud, — в канале Inside Yandex Cloud

Требования:
• Разрабатывали и эксплуатировали сервисы в проде
• Умеете и хотите писать код на С++ и Python
• Интересуетесь областью работы с данными

О команде:
Видео о команде