Middle AI Infrastructure Engineer

Мы ищем опытного **Middle AI Infrastructure Engineer**, который возьмёт на себя масштабирование и поддержку высокопроизводительной LLM-инфраструктуры.

Фундамент инфраструктуры уже положен. Вашей задачей будет его развитие и улучшение под растущие нагрузки

· **Обеспечить надёжность LLM-сервинга в проде:** стабильная работа инференса (vLLM/SGLang) под highload нагрузками, обновления без даунтайма, планирование мощностей под растущую нагрузку

· **Развитие шлюзового слоя:** роутинг запросов между моделями на разных серверах, rate limits, балансировка, наблюдаемость.

· **Оптимизация производительности:** Настройка работы инференс-сервисов (vLLM, SGLang), оптимизация распределения ресурсов между GPU нодами. Оптимизация параметров инференса моделей в зависимости от типа ожидаемых нагрузок.

· **Мониторинг и стабильность:** Внедрение глубокого мониторинга метрик GPU (память, ядра, температура) и производительности моделей.

· **Сопровождение:** Оперативное решение инцидентов и обеспечение высокой доступности сервисов.

·      Опыт работы в DevOps/SRE или системной инженерии от 3 лет.

·      Практический опыт с LLM-сервингом: (любым из: vLLM, SGLang, TGI, Triton). Понимание конфигурирования движков под разные типы нагрузок и плюсы и минусы различных конфигураций) (high throughput, low latency).

·      Глубокие знания Linux, контейнеризации (Docker) и оркестрации (**Kubernetes**).

·      Опыт работы с GPU-инфраструктурой (NVIDIA drivers, Docker с доступом до GPU, CUDA).

·      Навыки программирования на Python или Go (для автоматизации задач).

·      Опыт работы с инструментами мониторинга (Prometheus, Grafana).

·      Понимание того, как работают нейросети на системном уровне.

**Будет преимуществом:**

·      Практический опыт запуска модели на нескольких GPU в рамках одного/нескольких серверов (Data/Tensor параллелизм)

·      Опыт работы с шлюзами LLM сервинга вроде LiteLLM

·      Английский язык для чтения документации

**Стек:** vLLM и SGLang на GPU, LiteLLM + Shepherd Model Gateway, OpenWebUI, Kubernetes.

* комфортный современный офис - м. Кутузовская
* ежегодный пересмотр зарплаты, годовой бонус
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью совместного использования на трёх близких
* вознаграждение за рекомендацию друзей в команду Сбера
* корпоративная пенсионная программа.