Стажёр-исследователь: перенос LLM в новую архитектуру

Можно ли изменить архитектуру уже обученной LLM и получить сильную модель дешевле, чем при обучении с нуля? В GigaChat Pretrain мы исследуем перенос обученных моделей в новые архитектуры: из dense в MoE, с добавлением экспертов и слоёв, изменением ширины или механизма внимания. За три месяца вы выберете одно направление, реализуете способ переноса весов и проверите, насколько быстро модель восстанавливает и улучшает качество. Главная метрика — сколько вычислений потребуется, чтобы достичь качества такой же архитектуры, обученной с нуля.

* Реализовывать методы переноса весов и адаптации модели к новой архитектуре.
* Подбирать рецепт дообучения и сравнивать его с обучением с нуля.
* Проверять собственные гипотезы, проводить абляции и оценивать экономию вычислений.

Что мы ждём

* Уверенное владение Python и PyTorch.
* Знакомство с распределённым обучением.
* Понимание глубокого обучения и устройства Transformer.
* Умение читать статьи и воспроизводить их результаты.

**Будет плюсом**

* Собственный исследовательский проект.
* Опыт обучения языковых моделей, работы с MoE или дистилляцией.
* Опыт изменения архитектур и переноса предобученных весов.