Яндекс · Санкт-Петербург · по договорённости
Нирвана — облачная платформа для выполнения произвольных вычислений и процессов. Платформой активно пользуются аналитики, разработчики, ML-инженеры и другие сотрудники.
Один из ключевых компонентов платформы — Job Processor. Это сервис планирования и запуска задач на вычислительных кластерах Яндекса. Он обеспечивает быстрый и надёжный запуск произвольного контейнера в облаке, при этом пользовательский код выполняется локально, а сервис отвечает за подготовку окружения, доставку входных и выходных данных, отливку логов и другие инфраструктурные вопросы.
Что предстоит делать:
Разработка инструментов для анализа потребления ресурсов
В условиях высоких цен на железо важно эффективно его использовать. Мы хотим, чтобы пользователи могли легко видеть, какие их процессы потребляют больше всего ресурсов, для этого нужно научиться собирать подробную статистику, строить на её основе агрегаты и визуализировать их в удобной форме.
Оптимизация времени запуска задач
Чтобы накладные расходы на запуск пользовательского кода занимали не десятки секунд, а доли секунды, мы хотим научиться поднимать пул прогретых контейнеров и запускать задачи в них без траты времени на подготовку окружения. При этом важно динамически менять размер этого пула в зависимости от нагрузки, а также давать пользователям контроль над конфигурацией, чтобы находить баланс между скоростью запуска и эффективной утилизацией ресурсов.
Запуск контейнеров на новых видах железа
Мы планируем подключать новые вычислительные мощности, которые могут отличаться по характеристикам. Нужно будет адаптировать сервис, чтобы он корректно и эффективно работал в новых окружениях.
Больше о том, как мы делаем внутреннюю инфраструктуру Яндекса, — в канале Yandex Infrastructure
Требования:
• Имеете опыт промышленной разработки на Java
• Знакомы с распределёнными системами и решениями, обеспечивающими высокую доступность
• Знаете основы работы в Unix-системах и умеете использовать инструменты для диагностики и анализа сервисов
• Готовы участвовать в эксплуатации сервиса: раскатывать эксперименты, собирать и анализировать статистику, отлаживать нетривиальные ошибки в проде
Будет плюсом:
• Работали с высоконагруженными сервисами
• Умеете быстро разбираться в незнакомом коде и новых технологиях
Подписывайтесь на [телеграм-канал Yandex Infrastructure]([контакты и ссылка отклика — после бесплатной регистрации] чтобы узнать больше о том, как мы делаем внутреннюю инфраструктуру Яндекса.
Отклик ведёт на сайт работодателя. Бесплатная регистрация открывает отклик и разбор резюме.
10500+ вакансий от 1600+ компаний — в основном напрямую с карьерных сайтов и из Telegram-каналов. У 900+ из них есть контакт нанимающего: пишешь человеку, а не в общую очередь. Регистрация бесплатная — откроет контакты и подбор вакансий под твоё резюме.
