Сбер · Москва · по договорённости
Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца вы разберёте перспективные подходы, выберете базовую архитектуру и проверите собственное изменение. Это исследовательская задача с неопределённым результатом: важно не только найти улучшение, но и понять, какие идеи работают, где и почему.
* Разбирать свежие статьи и выбирать перспективные идеи для экспериментов.
* Реализовывать и менять линейные и рекуррентные блоки языковых моделей.
* Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений.
* Проводить абляции и выяснять, какие изменения стоит масштабировать.
* Уверенное владение Python и PyTorch.
* Знакомство с распределённым обучением.
* Понимание глубокого обучения и устройства Transformer.
* Умение читать статьи, формулировать гипотезы и проверять их экспериментально.
**Будет плюсом**
* Собственный исследовательский проект.
* Опыт обучения языковых моделей, работы с линейным вниманием или state-space моделями.
* Опыт с CUDA, Triton или оптимизацией GPU-вычислений.
Отклик ведёт на сайт работодателя. Бесплатная регистрация открывает отклик и разбор резюме.
13700+ вакансий от 1400+ компаний — в основном напрямую с карьерных сайтов и из Telegram-каналов. У 750+ из них есть контакт нанимающего: пишешь человеку, а не в общую очередь. Регистрация бесплатная — откроет контакты и подбор вакансий под твоё резюме.
