Разработчик контент-системы и статистики на C++ в Рекламу

Контент-система — инфраструктура, с помощью которой миллиарды баннеров подготавливаются для отбора в рекламном движке и последующего отображения.

Статистика — это сервисы, предназначенные для сбора и агрегации статистики о взаимодействии миллионов пользователей с миллиардами баннеров. Обе системы работают с огромными потоками данных на тысячах серверов, используют BigRT-ядро с гарантиями exactly once.

Статистика (Rtstat, RTABT) — витрина данных для рекламодателей, партнёров, инфраструктура для быстрых экспериментов и аналитиков.

Контент-система (Цезарь, Плутониум) — строим инфру будущего для попадания баннеров в отбор через 30 минут после их создания. Для обоих проектов характерны большие нагрузки: обрабатываем потоки, измеримые в гигабайтах в секунду, и сообщения — в миллионах в секунду.

Наш стек:

• Основной код на C++
• Python для инфраструктуры и инструментов
• YT для хранения и MapReduce-обработки
• BigRT для потоковой обработки данных

Что предстоит делать:
Развитие и поддержка платформы потоковой обработки данных

И в статистике, и в контент-системе используются BigRT и YT для потоковой обработки событий и для хранения полученных результатов. Системы обрабатывают гигабайты данных и миллионы сообщений каждую секунду. Это довольно много — соответственно, у нас есть задачи по оптимизации железных ресурсов, потребляемых системами. Также у нас есть много задач по переводу старых процессов на новую архитектуру: почти всё созданное на MapReduce мы переводим на BigRT.

Тестирование, приёмка и эксплуатация наших систем

У нас инфраструктурные команды, и все изменения мы проверяем и релизим самостоятельно. Это стимулирует нас улучшать релизные и приёмочные процессы. А ещё мы постоянно инвестируем время в повышение стабильности наших систем.

Требования:
• Хорошо знаете C++ и STL
• Знаете классические алгоритмы и структуры данных
• Имеете опыт промышленной разработки
• Понимаете ключевые аспекты построения распределённых систем
• Знакомы с Linux