Авито · Москва · по договорённости
О команде
Наша команда занимается обучением собственных базовых LLM и их внедрением в разнообразные бизнес-сценарии Авито. Цель команды — обеспечить все продукты оптимальными моделями как по качеству ответов, так и по стоимости применения (cost-efficiency). Мы адаптируем лучшие open-source решения под русский язык и доменную специфику Авито с помощью Continual Pre-training и подмены токенизатора. Для постоянного улучшения моделей мы непрерывно исследуем новые методы, пайплайны, включая RL и синтетические данные, и датасеты. Чтобы оставаться на острие технологий, мы проводим регулярные LLM-семинары, где разбираем свежие статьи и тренды AI.
Наш технический фокус сегодня:
— Построение оптимального и масштабируемого пайплайна для претрейна и дообучения LLM.
— Оптимизация инференса: работа с современными движками, квантованием, speculative decoding и другими методами ускорения.
Примеры будущих задач:
— Масштабирование базовой модели A-vibe: исследование новых архитектур и подходов к обучению.
— Оптимизация скорости и стоимости инференса высоконагруженных моделей в продакшене.
— Проектирование и помощь в разработке внутренних LLM-платформ и multi-agent-систем.
— Построение надёжной инфраструктуры для оценки качества моделей (evaluation).
Мы ждём, что вы:
— Хорошо понимаете основы машинного и глубокого обучения, знаете устройство Transformer и базовые подходы к работе с NLP-моделями.
— Имеете практический опыт обучения или дообучения нейросетевых моделей и работы с датасетами, метриками и валидацией.
— Уверенно пишете на Python, умеете работать с PyTorch и знакомы с базовыми инженерными практиками: Git, тестирование, Code Review.
— Умеете корректно ставить эксперимент, сравнивать подходы и объяснять, почему получился тот или иной результат.
— Можете самостоятельно доводить до результата задачу с понятной постановкой, вовремя подсвечивать риски и обращаться за помощью, когда она нужна.
— Интересуетесь LLM, читаете технические материалы и готовы быстро осваивать новые инструменты и подходы.
Будет здорово, если вы:
— Работали с Hugging Face Transformers, PEFT/LoRA или другими инструментами дообучения LLM.
— Имеете опыт с современными NLP-моделями либо участвуете в их разработке.
Отклик ведёт на сайт работодателя. Бесплатная регистрация открывает отклик и разбор резюме.