Аналитик-разработчик в команду аналитики поисковых технологий в Екоме

Ищем специалиста, который будет заниматься аналитикой качества товарного ранжирования в Поиске и в Алисе. Вам предстоит отвечать на множество вопросов. Например:
• Как научить ML-модели понимать, что этот конкретный товар предпочтительнее показать в выдаче, чем какой-то другой?
• Как понять, что ранжирование в Поиске хорошо работает и как это замерить?
• Правда ли, что товары, которые предлагает Алиса пользователям, — это то, что им нужно, и можно ли сделать эту выдачу лучше?
• Можем ли мы понять, что с большей вероятностью хочет видеть пользователь, и предложить ему именно это?

Что предстоит делать:
Выстраивание системы метрик

Метрики — основа любого продукта. От их качества зависит, что в итоге выучат наши ML-модели и в какую сторону будет двигаться продукт. Мы используем систему из офлайн- и онлайн-метрик. Эту систему предстоит улучшать, а для этого нужно понять, где её область применения, какие у неё недостатки и как их исправить.

A/B-эксперименты

Эксперименты ранжирования сильно влияют на перераспределение трафика в интернете и на поведение пользователей. А как понять, что стало лучше? Особенно если одна метрика смотрит в позитивную сторону, а другая — в негативную.

Поиск точек роста

Какие фичи стоит добавить в ML-модели? На каких срезах мы работаем лучше, а на каких хуже? Почему мы не показали самую релевантную ссылку по запросу, где она потерялась? Как часто такое происходит? Это только часть вопросов, на которые предстоит отвечать.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования:
• Работали с большими объёмами событийных данных и логами различных сервисов
• Уверенно владеете Python и SQL
• Знаете статистику и теорию вероятностей
• Можете самостоятельно разбираться в данных, находить проблемы качества и причины аномалий

Будет плюсом:
• Участвовали и побеждали в олимпиадах по математике, физике, программированию
• Работали с архитектурой аналитических данных продукта: собирали витрины, понимаете, что такое ETL
• Разрабатывали и внедряли новые метрики
• Знаете основы машинного обучения