Руководитель разработки юнита LLM Tech

О команде
Наша команда обучает собственные базовые LLM и внедряет их в бизнес-сценарии Авито. Цель команды — обеспечить продукты моделями, которые соответствуют требованиям по качеству ответов и стоимости применения. Мы адаптируем решения с открытым исходным кодом под русский язык и доменную специфику Авито с помощью continual pre-training и подмены токенизатора. Для развития моделей команда исследует новые методы и пайплайны, включая RL и синтетические данные, а также работает с датасетами. Мы проводим регулярные LLM-семинары, где разбираем статьи и AI-тренды.

Какие задачи вас ждут:
- отвечать за GPU-инфраструктуру для LLM: от железа до утилизации;
- определять и реализовывать стратегию развития инференса LLM;
- оптимизировать инференс LLM;
- определять стратегию использования внешних LLM-провайдеров и развивать LLM Gateway;
- развивать платформы оценки качества, RAG и LLM Gateway;
- быть надёжным партнёром для DS UL;
- работать с ключевыми метриками: cost per token × model size; утилизация; SLA; удовлетворённость пользователей LLM Gateway; экономические показатели LLM.

Мы ждём, что вы:
- имеете экспертизу в GPU;
- работали с DS в области LLM и оптимизации инференса;
- понимаете, как работают LLM, инфраструктура вокруг них и оценка качества моделей;
- имеете опыт оптимизации инференса LLM;
- управляли несколькими командами, применяли системный подход к менеджменту и работали через лидов и цели;
- вели проекты для стейкхолдеров уровня кластер-лидов и СЕО;
- умеете переводить сложные технические темы на понятный язык;
- понимаете задачи DS и умеете договариваться с командами;
- умеете оценивать ситуацию и решать проблемы до того, как они повлияют на результат.

Работа у нас — это:
- расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; сервис психологической поддержки, а также финансовые, юридические и ЗОЖ‑консультации.