ML-разработчик в команду генеративных технологий рекламы Яндекса

Рекламные технологии Яндекса стоят за показами рекламы в Поиске и на площадках Рекламной сети. Через них бизнесы находят клиентов, а пользователи — товары и услуги, которые ищут. Одно из самых быстрорастущих направлений — генеративная реклама. В Яндекс Директе есть нейрообъявления: YandexGPT пишет заголовки и тексты, учитывая запрос пользователя и содержимое сайта рекламодателя.

Наша группа развивает генерацию в рекламе и отвечает за её качество. Мы обучаем модели, которые находят ошибки в сгенерированных объявлениях, улучшаем модели генерации, проверяем гипотезы в A/B-экспериментах и доводим сгенерированные элементы объявлений до рекламного движка и ранжирования.

Что предстоит делать:
Обучение фильтрующих моделей

Чтобы до показа доходили только качественные сгенерированные объявления, мы обучаем фильтрующие модели: они находят выдуманные факты, подмену товара или услуги, неграмотные и нерелевантные тексты — и при этом не отсекают хорошие объявления. Вы будете развивать эти модели: собирать разметку с помощью асессоров и LLM, обучать трансформерные классификаторы, подбирать пороги под продуктовую задачу и проверять в A/B-экспериментах, какие ошибки действительно мешают пользователям и рекламодателям.

Добавление информации о генерации в рекламный движок

Сгенерированные заголовки и тексты должны не просто пройти фильтры, но и правильно участвовать в отборе и ранжировании рекламы. Вам предстоит доводить новые сгенерированные элементы объявлений до рекламного движка: передавать в него информацию о генерации, например оценку аплифта от генерации в рантайме, учитывать её в ранжировании и прогнозе кликабельности, а затем в A/B-экспериментах проверять, что реклама стала эффективнее. Чтобы решение дошло до продакшена целиком, важно понимать, как устроен весь пайплайн ранжирования объявлений в движке, и уметь договариваться со смежными командами.

Фактчекинг сгенерированных объявлений

Самая неприятная для пользователя и рекламодателя ошибка генерации — текст, который расходится с сайтом: не та цена, другие условия, обещание, которого нет на странице. Вы будете развивать фактчекинг — проверку того, что сгенерированное объявление соответствует данным рекламодателя и содержимому его сайта. Задача — пройти путь от сбора разметки до моделей, которые находят расхождения, и встроить их в контур качества, чтобы такие объявления не доходили до показа.

Больше об ML в Яндексе — в канале Yandex for ML

Требования:
• Обучаете трансформерные модели для классификации текстов и доводите их до продакшена: выбираете метрики и пороги под продуктовую задачу, следите за качеством после выкатки
• Хорошо знаете статистику и умеете анализировать данные: проектируете A/B-эксперименты, находите причины изменения метрик, понимаете бизнес-показатели рекламы — кликабельность, конверсию, выручку
• Уверенно используете AI-агентов в повседневной работе: для написания кода, анализа данных и исследований
• Пишете на Python, работаете с PyTorch и SQL, обрабатываете большие объёмы данных в распределённых системах
• Самостоятельно ведёте задачу от гипотезы до эксперимента и выкатки в продакшен

Будет плюсом:
• Работали с дообучением генеративных моделей с подкреплением (RLHF, DPO, GRPO или похожие подходы) и с reward-моделями
• Организовывали разметку данных — инструкции, подбор перекрытия, контроль качества — и применяли LLM для разметки и оценки текстов с проверкой того, насколько их оценки согласуются с человеческими
• Занимались фактчекингом сгенерированных текстов — проверкой их соответствия источнику, например, с помощью NLI-моделей или retrieval
• Знаете ранжирование или прогноз CTR
• Понимаете, как устроены рекламные или поисковые продукты