Во вторник 20.10 был на конференции AI Native Conf – это уже третья конференция ontico в этом году, посвященная AI, и это не считая отдельных треков на больших конференциях. Это не удивительно – ИИ сильно меняет и разработку софта и мир в целом, и сейчас идет процесс интенсивных изменений. На открытие конференции Олег Бунин сказал, что происходящее напоминает ему 2007 год, когда массовое распространение интернет тоже сильно меняло мир и породило интенсивную разработку. Тогда появился новый сегмент public web, технологии которого сейчас уже mainstream. А в кулуарах я слышал мнение, что появление ИИ даже круче, его сравнивали с появлением персональных компьютеров. О масштабах можно спорить, но изменения реально значительные. Конференция показывает, как продолжается освоение agentic engineering в крупными компаниями. Они движутся медленнее, потому что в силу своего размера вынуждены реiать более масштабные задачи. Но тем интереснее наблюдать за их движением. На фазе разработки изменения уже уверенные, а сейчас идет освоение фазы discovery.

Многие разработчики рано или поздно задумываются о том, чтобы перенести AI-ассистента к себе на локальную машину. Причины разные: корпоративные политики безопасности, нежелание "сливать" свой код в облако или просто спортивный интерес.

Если вы еще ни разу не пробовали развернуть оффлайн-референс, сейчас — самое время. Спойлер: вам не нужен суперкомпьютер. Если у вас есть 32 ГБ оперативной памяти и относительно свежее железо, этого более чем достаточно для комфортной работы.

В этой статье мы возьмем модель класса 20B (например, gpt-oss:20b). Звучит тяжело, но благодаря архитектуре MoE (Mixture of Experts) модель активирует только часть своих параметров для каждого токена, поэтому скорость генерации вас приятно удивит даже без топовой видеокарты.

А в качестве интерфейса мы будем использовать один из самых популярных и продвинутых плагинов для VS Code — Kilo Code App. Это мощный форк известного OpenCode (Continue), который включает в себя значительно больше изменений, новшеств и заточен под серьезную работу с агентами и тулами (tools).