Backend/Platform Developer в команду LLM Platform

LLM Platform — это единая точка входа для работы с LLM внутри Яндекса.

Мы строим платформу, которая предоставляет унифицированный доступ к различным языковым моделям: и к собственным, и к опенсорсным, развёрнутым во внутреннем контуре. Платформа помогает командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах.

Каждый день платформой пользуются десятки тысяч сотрудников и сотни внутренних сервисов — поэтому для нас важны надёжность, масштабируемость, контроль ресурсов, безопасность данных и удобство интеграции.

LLM Platform решает несколько ключевых задач:
• Предоставляет единый API для работы с любыми LLM
• Управляет справедливым распределением ресурсов между пользователями, командами и сервисами
• Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам
• Поддерживает единый конфиг с возможностью подключения собственных моделей
• Помогает безопасно использовать внутренние данные компании при работе с публичными моделями

Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании.

Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами. Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM.

Что предстоит делать:
Разработка системы управления квотами

Эта система должна позволять:
• Задавать и контролировать квоты на разные типы запросов
• Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов
• Предоставлять аналитику менеджерам и владельцам продуктов
• Реализовывать биллинг и cost allocation по бизнес-юнитам
• Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace

Интеграции с LLM-провайдерами и внутренними моделями

Нужно развивать единый API для работы с разными моделями и провайдерами:
• Подключать LLM-провайдеров и собственные инференсы
• Унифицировать форматы запросов и ответов
• Разрабатывать механизмы маршрутизации запросов между моделями
• Учитывать стоимость, доступность, latency, лимиты и требования безопасности
• Поддерживать конфигурацию моделей, namespace, теги и политики доступа

Безопасное использование данных

LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит:
• Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели
• Разрабатывать фильтры, политики и алгоритмы обработки запросов
• Участвовать в проектировании решений для защиты внутренних данных
• Интегрироваться с внутренними системами контроля, аудита и доступа

Сбор и извлечение данных из веб-источников

Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников:
• Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов
• Анализировать HTML-, JavaScript-приложения, сетевые запросы и API
• Строить надёжные пайплайны сбора, нормализации и обработки данных
• Разрабатывать инструменты для работы с динамическими веб-приложениями

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования:
• Занимались backend-разработкой на Go на промышленном уровне
• Понимаете принципы построения распределённых систем
• Проектировали API и интеграции между сервисами
• Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами
• Понимаете observability: метрики, логи, трассировка, алерты
• Аккуратны в вопросах безопасности данных и разграничения доступа
• Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов

Будет плюсом:
• Работали с LLM API и AI-инфраструктурой
• Разрабатывали платформенные сервисы
• Строили quota management, rate limiting, billing или cost allocation систем
• Имеете опыт web scraping / web crawling / data extraction
• Анализировали веб-приложения, API и сетевой трафик