Сбер · Москва · по договорённости
Мы развиваем GigaChat и формируем направление безопасности ответов AI-ассистента. Ищем человека, который будет определять, как ассистент должен вести себя в сложных и чувствительных ситуациях, измерять качество этого поведения и вместе с командами моделей и продукта системно его улучшать.
В этой роли вы будете формировать видение домена Safety, строить процесс работы с небезопасными ответами и необоснованными отказами, переводить пользовательские проблемы в требования к модели и принимать результат на основе данных. Ваша работа будет влиять на безопасность, полезность и предсказуемость ассистента.
· **Формировать видение и стратегию Safety.** Определять целевое поведение ассистента, приоритетные риски и направления развития; формировать и защищать roadmap перед руководством, согласовывать его с продуктовой и модельной командами.
· **Развивать методологию оценки.** Совместно с профильными экспертами описывать категории рисков, уровни критичности и допустимые варианты ответа; создавать правила разметки, примеры и процесс разбора спорных случаев.
· **Управлять метриками.** Оценивать небезопасные ответы, необоснованные отказы и качество безопасных альтернатив; анализировать различия по темам, сценариям, версиям моделей и компонентам системы.
· **Развивать бенчмарки и регулярные проверки.** Формировать требования к тестовым наборам, человеческой и автоматической оценке; обеспечивать проверку сложных, пограничных и многошаговых диалогов, а также регрессий после обновлений.
· **Выстраивать процесс улучшений.** Превращать сигналы из пользовательских диалогов, обращений, исследований и red teaming в приоритизированные задачи с понятной причиной, владельцем и ожидаемым эффектом.
· **Ставить задачи модельной команде.** Описывать проблемное и целевое поведение, требования к данным для дообучения и оценке результата; вместе с техническими лидерами выбирать подход к исправлению.
· **Принимать результаты изменений.** Заранее согласовывать критерии успеха и допустимые регрессии, проверять результат на независимых данных и в продукте, формировать заключение о готовности изменений к выпуску.
· **Улучшать пользовательский опыт.** Сокращать лишние ограничения и отказы на допустимых запросах, повышать качество объяснений и безопасных альтернатив при соблюдении согласованных требований безопасности.
· **Координировать работу с инцидентами.** Организовывать оценку масштаба и критичности, временные меры, поиск причины и проверку устойчивого исправления вместе с ответственными командами.
· **Обеспечивать реализацию приоритетов.** Вместе с техническими лидерами декомпозировать инициативы, договариваться о ресурсах модельной команды и платформы, фиксировать зависимости, сроки и владельцев результата.
· Опыт работы с ML/AI-продуктами и подтверждённые кейсы самостоятельного ведения задач от постановки проблемы до измеримого результата после запуска.
· Техническая и аналитическая база: опыт в Data Science, ML Engineering, продуктовой или data-аналитике либо сопоставимая практическая глубина.
· Понимание устройства LLM-продукта: модель, инструкции, контекст, RAG, защитные механизмы, внешние инструменты. Умение обсуждать с инженерами причины ошибок и способы их устранения.
· Понимание цикла улучшения моделей: данные и разметка, дообучение, оценка на отложенных данных, проверка регрессий, выпуск и мониторинг.
· Уверенная работа с метриками качества, выборками, ошибками классификации и статистической неопределённостью. Умение самостоятельно проверить выводы по данным с помощью SQL/Python или сопоставимых инструментов.
· Умение формировать видение направления, определять приоритеты, выстраивать процессы и принимать решения при неполной информации.
· Опыт постановки задач техническим командам и приёмки результатов по измеримым критериям.
· Опыт защиты приоритетов и согласования ресурсов в межкомандной работе.
· Умение договариваться с несколькими командами, аргументировать решения и объяснять технические вопросы понятным яз
Отклик ведёт на сайт работодателя. Бесплатная регистрация открывает отклик и разбор резюме.
13200+ вакансий от 1300+ компаний — в основном напрямую с карьерных сайтов и из Telegram-каналов. У 700+ из них есть контакт нанимающего: пишешь человеку, а не в общую очередь. Регистрация бесплатная — откроет контакты и подбор вакансий под твоё резюме.