Разработчик инфраструктуры LLM

Инференс LLM в масштабе — это сложная инфраструктурная задача: GPU работают на пределе, возникают сетевые задержки, возможны сбои оборудования. Мы создаём решения, чтобы эти события минимально влияли на доступность и latency нашего сервиса инференса.

Что предстоит делать:
Оптимизация инференсных движков

Вам предстоит повышать эффективность и снижать latency при выполнении LLM-инференса на GPU.

Развитие инструментов диагностики

Вы будете создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, которые влияют на стабильность и скорость инференса.

Исследование и внедрение

Вам предстоит работать с методами оптимизации инференса (квантованием, прунингом) и современными подходами к параллелизации.

Требования:
• Владеете C++ и Python: имеете уверенные навыки низкоуровневого программирования и оптимизации
• Работали с GPU (NVIDIA) и CUDA: понимаете архитектуру GPU, разрабатывали или оптимизировали алгоритмы под CUDA
• Глубоко понимаете архитектуру Transformer: знакомы с внутренними механизмами (attention, FFN, нормализацией) и их реализациями
• Знаете подходы к параллелизации: понимаете Data Parallel, Tensor Parallel, Pipeline Parallel (желательно ещё Expert Parallel) для распределённого инференса или обучения
• Интересуетесь LLM и MLOps: понимаете задачи и вызовы, связанные с эксплуатацией больших моделей в продакшне
• Умеете эффективно работать в команде и делиться знаниями

Будет плюсом:
• Работали с современными решениями для оптимизации инференса: vLLM, TensorRT-LLM (TRT-LLM) или sglang