QA инженер (Поток)

Вакансия для того, кто хочет строить инновации мирового уровня и видеть реальный след от своей работы. Команда создаёт ИИ-решение для анализа реализации стратегии Сбера. Это кейс на уровне топовых мировых исследований в области сценарного моделирования комплексных экономико-социальных систем и построения предиктивных алгоритмов. Ищем в команду ребят с сильным техническим и концептуальным мышлением и жаждой создавать новое.

### Обязанности

* функциональное тестирование backend сервисов и UI и написание и поддержка тестовой документации (чек-листы, тест-кейсы, баг-репорты, инструкции)
* подготовка тестовых данных для тестирования / проведения ПСИ, участие в релизах, проведение регрессионного тестирования и в проведении сценариев приемо-сдаточных испытаний (ПСИ)
* участие в работе с обращениями от пользователей и анализ информации в БД и логах сервисов
* построение и поддержка eval-набора (golden set) и регрессионного контроля качества при смене моделей, промптов и версий приложения
* автоматизированная оценка качества генерации (LLM-as-judge, метрики типа Ragas) при релизах
* тестирование RAG: качество поиска релевантного контекста, корректность источников, поведение при неполной / противоречивой информации
* тестирование агентных сценариев: многошаговые цепочки, вызовы инструментов (MCP), повторные попытки, эскалация к человеку
* участие в мониторинге качества в проде и настройке обратной связи от пользователей.

### Требования

* опыт работы в тестировании от 3 лет
* понимание HTTP, кодов ответов, авторизации
* опыт тестирования API (REST/JSON) для проверки интеграций и бизнес-логики, микросервисного взаимодействия
* опыт тестирования запросов с помощью Postman/Insomnia/Swagger
* опыт работы с форматами данных: JSON, YAML, XML, HTML
* знание SQL, умение написать SQL запрос средней сложности
* базовый опыт работы с системами сбора и визуализации метрик, работа с логами (Prometheus, Grafana) и понимание CI/CD и участия QA в пайплайнах доставки
* понимание принципов работы LLM и их ограничений: недетерминированность вывода, галлюцинации, методы оценки качества генеративных моделей и опыт построения eval-наборов (golden set) и оценки качества LLM; желательно — LLM-as-judge, Ragas.

### Будет плюсом

* понимание RAG и методов оценки качества retrieval: релевантность контекста, корректность источников
* опыт тестирования агентных систем: многошаговые агенты, tool calling
* опыт работы с Python для автоматизации оценки (pytest)
* понимание метрик качества AI-продукта и мониторинга качества в проде
* опыт работы с Kafka
* опыт работы с векторными / графовыми БД (например, Qdrant)

### Условия

* гибридный формат работы из офиса в г. Москва
* годовой бонус и ежегодный пересмотр
* ДМС с первого дня + стоматологию и льготное страхование для семьи
* корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях
* офис на Ленинском проспекте с зонами отдыха и спортзалом
* льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм с возможностью совместного использования на трёх близких, скидки от партнеров и сервисов группы компаний.