Аналитик-разработчик в группу новых поисков

Больше об аналитике и метриках Поиска — в видео от Лены, руководителя группы экосистемных исследований.

В Яндексе много разных поисков (квартиры, видео, афиша, врачи, услуги, товары и другие). Они различаются по технологиям, масштабу, качеству, но одно верно: сделать новый поиск — это большой инженерный и продуктовый проект. Мы радикально упрощаем эту задачу и создаём платформу, на которой поиски можно будет запускать или улучшать одним промптом.

Аналитическая команда внутри платформы отвечает за:
• формализацию продуктовых требований от заказчиков о том, как выглядит хорошее ранжирование;
• создание датасетов для валидации и обучения;
• эталонную разметку;
• разработку агентов-разметчиков;
• дизайн логов;
• офлайн- и онлайн-приёмку.

Главное отличие от обычной аналитической работы — мы делаем конвейер аналитики, а не улучшаем отдельные сервисы.

На каждом этапе мы придумываем универсальные критерии качества, которые будут работать сразу для сотен клиентов: как должны выглядеть хорошие датасеты; по каким признакам принимать работу агентов-разметчиков; как убедиться, что пользователи стали счастливее.

Что предстоит делать:
Датасеты

Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое.

Разметка

Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам.

Приёмка

Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования:
• Уверенно пишете на Python и SQL
• Разбираетесь в алгоритмах и структурах данных
• Знаете математическую статистику и умеете проверять гипотезы
• Понимаете, почему важно всегда смотреть на данные

Будет плюсом:
• Работали с поиском или рекомендациями
• Интересуетесь ML-аналитикой
• Знаете, как работать с кодинг-агентами
• Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать