В этой статье разберем, почему модель вообще не видит дальше обученного окна, как это чинится различными методами масштабирования (RoPE, NTK-aware, YaRN, LongRoPE/LongRoPE2) и как масштабирование влияет на скорость и точность генерации.

В конце пройдемся по конкретным моделям от самых хайповых на текущих момент Qwen 3.8-27B и Qwen3.8-Flash-Next с их миллионом токенов до небольших Qwen 3.5 (4B/9B), Gemma 4 E2B/E4B, Ornith 1.0, LFM2/LFM2.5 и MiniCPM5-1B и посмотрим, что для них работает, а что нет.

Разработка постепенно меняет привычное разделение работы между человеком и инструментами. ИИ берет на себя не отдельные операции, а последовательность действий, для которой раньше требовалось участие специалиста. Но вместе с ростом автономности меняются и требования к самой системе. Агент должен понимать контекст проекта, знать внутренние правила и иметь доступ к инструментам, с которыми работает команда, а не просто искать информацию и писать код. 

Эту тему подробно разобрали на восьмом митапе MWS для DevOps и SRE. Эксперты из MTC Web Services и Orion Soft показали разные стороны перехода к агентной разработке и поделились кейсами, как ИИ потихоньку превращается в виртуального сотрудника — агента, действующего без постоянного сопровождения человека, и что для этого приходится менять в инженерных процессах.