❌

Normal view

Kimi K3 — открытая модель, которая обошла закрытых лидеров рынка

Открытые системы редко конкурируют на равных с закрытыми лидерами индустрии: у их разработчиков обычно меньше вычислительных ресурсов и данных, чем у крупных лабораторий, и это сказывается на качестве. Kimi K3 — исключение: ее веса можно скачать и развернуть у себя, а на части независимых бенчмарков она обходит закрытые решения GPT и Anthropic. В этой статье я разбираю недавно опубликованный разработчиками официальный отчет, чтобы понять, что стоит за такими результатами.

Читать далее

vue-llm: AI SDK для Vue и Nuxt — стриминговый чат, Generative UI и модели прямо в браузере

Если вы делали AI-фичу на Vue, то, скорее всего, сталкивались с одним и тем же: большинство готовых инструментов для LLM-интерфейсов написаны с прицелом на React, а во Vue их приходится адаптировать или писать стриминг, tool calling и состояние чата вручную. Я сделал vue-llm — open-source библиотеку, которая закрывает это для Vue 3, Nuxt и даже Vue 2.7.


Сразу ссылки, чтобы можно было пощупать:

• Песочница без API-ключа (модель скачивается и работает прямо в браузере на WebGPU): https://vue-llm.js.org/ru/playground

• Документация на русском: https://vue-llm.js.org/ru/

• GitHub: https://github.com/dadashi44/vue-llm

• npm: npm i vue-llm

Читать далее

Я сделал экран для мониторинга моих квот LLM провайдеров

Начну с того, что еще недавно мои познания в схемотехнике балансировали на уровне непонимания различия между транзистором и резистором. Из всего арсенала, хоть как-то применимого к embedded, за душой был только Rust. Но когда на радаре замаячил так называемый встриваемый AI (машинное обучение и компьютерное зрение прямо на копеечных микроконтроллерах), - спортивный интерес взял верх. Не тратя недели на теорию, я просто доехал до радиорынка и вернулся с джентльменским набором первопроходца: ESP32, первым попавшимся экраном и энкодером. Амбиции по запуску нейросетей моментально разбились о суровую реальность первого вечера: как вообще заставить этот кусок текстолита ожить и вывести на дисплей хотя бы пару цифр?

Цифры при этом были вполне конкретные. У меня сразу несколько подписок на LLM, и у каждой свои лимиты: окно на пять часов, окно на неделю, месячный потолок. Сбрасываются они в разное время, живут на разных сайтах, а узнать остаток можно, только открыв нужную вкладку. Мне хотелось поднять глаза от клавиатуры и сразу увидеть, на что еще хватит квоты.

В итоге получился настольный монитор: нативное приложение не жрущее много памяти для Windows, которое как раз собирает лимиты четырех подписок, и маленький экран с ESP32 показывающий их прямо перед глазами.

Читать далее

Как построить self‑hosted RAG‑систему с LangGraph‑агентом на локальных LLM

Обычно стек для RAG‑систем и AI‑агентов строится вокруг облачных API (OpenAI, Anthropic) и управляемых векторных баз. Но для ряда задач критически важна полная автономность: устойчивость к санкциям и независимость от внешних провайдеров.

В этой статье я расскажу, как спроектировал и собрал аналитическую систему, которая за две недели работы агрегировала более 12 000 новостей: от сбора RSS‑лент до умного агента, который сам вызывает инструменты. Мы пройдем путь от архитектуры до граблей, на которые я наступил.

Стек: Python 3.12, FastAPI, PostgreSQL + pgvector, Celery, LangGraph, Ollama (Qwen 2.5 14B, BGE‑M3), Streamlit, Langfuse, Docker.

Читать далее

Что бэкапить в ИИ-приложении: модель, документы, индексы или историю диалогов?

Привет, Хабр! На связи Михаил Витко, менеджер PaaS-продуктов Рег.облака. Представим ситуацию. После восстановления ИИ-помощник принимает запросы и отвечает без ошибок. Но на вопрос о сроке возврата товара называет 14 дней вместо 30: база уже знает о новой редакции регламента, а поиск работает по старому индексу. Проверка доступности сервиса такую поломку не обнаружит.

В статье подробно разберем, как резервировать RAG-помощника по корпоративным документам и восстанавливать его части в согласованном состоянии. Тема обширная, поэтому мы разделили материал на две части. В первой поговорим о том, какие данные нужно сохранять, что можно пересоздать после сбоя и как организовать резервное копирование в S3, PostgreSQL и Kubernetes. А во второй обсудим, как восстановить приложение без рассогласования данных и проверить, что оно корректно работает после сбоя. 

Читать далее

Не давайте агенту docker.sock: как я сделал для ИИ отдельный вход в свой Docker-менеджер

Я пишу d9c, терминальный менеджер Docker для удалённых серверов, и однажды заметил, что через него к моим серверам ходит уже не только я, но и Claude Code. Таблицы для людей агенту не подходят. Ему нужен JSON, ограничение на объём вывода, чёткая граница между «посмотреть» и «сломать» и человек, который подтверждает удаление. Рассказываю, как сделал для агентов CLI-режим, MCP-сервер и десять skills, почему инструментов двенадцать, а не сорок, и как агент всё-таки удалил стейджинг, не спросив меня, хотя задумано было ровно наоборот.

Читать далее

Когда LLM должна сказать «Я не знаю»?

В RAG недостаточно найти документы на нужную тему: они должны содержать сведения, из которых можно обосновать ответ. Разберём три способа исследовать эту границу — от внешнего оценщика контекста до анализа активаций модели и испытаний на противоречивых свидетельствах.

Читать далее

Большая фича без бесконечных переделок: Spec driven development с AI, UML, C4 и OpenAPI

Разработка большой фичи с нуля часто начинается обманчиво легко. Заказчик объяснил идею, команда обсудила экраны, разработчики примерно представляют архитектуру. Можно приступать. Но стоит перейти от общего замысла к конкретному поведению, как появляются вопросы, на которые у каждого участника свой ответ.

Возьмём веб-систему бронирования общего оборудования. Сотрудник выбирает проектор и время, подтверждает бронь, при необходимости отменяет её. Звучит как несколько форм и CRUD. Иллюзия простоты исчезает, когда два человека одновременно бронируют один проектор, временный резерв зависает навсегда, а отменённая заявка продолжает занимать время в календаре.

Разберём, как пройти путь от такой идеи до реализации через LLM: сначала сделать правила видимыми, затем согласовать модель и контракты, после этого передавать агенту небольшие задачи. Это учебный пример, а не отчёт о внедрении или обещание определённого ускорения.

Читать далее

Локальные LLM в AppSec: что можно доверить открытым инструментам и моделям

Для экспериментов с ИИ в AppSec необязательно покупать облачную подписку. Модель можно запустить на рабочей станции, связать с анализаторами кода и поручить ей часть исследования. Открытые инструменты-обвязки позволяют настраивать такую работу под своё приложение. Таким образом, у команды появляется выбор, какие данные передавать модели, где их обрабатывать и насколько самостоятельной делать проверку.

Впрочем, установить модель заметно проще, чем понять, какую работу ей стоит доверить и как её организовать. Разобрать сообщение сканера, восстановить путь пользовательских данных или провести многошаговое исследование приложения – это всё задачи разного масштаба. Если сразу поручить небольшой локальной модели весь аудит, то по результату такого эксперимента будет трудно судить, какие отдельные задачи она способна решать.

Поиск подходящих задач связан и с организацией проверки. Открытые инструменты позволяют менять её под своё приложение и понимать, какие решения повлияли на результат. Постепенно у команды складывается собственная методика работы с ИИ, которую можно уточнять и применять в следующих проектах.

В этой статье мы сначала проследим, как появились эти возможности, а затем рассмотрим локальные сценарии AppSec и последствия свободного выбора моделей и инструментов.

Читать далее

Позиционные эмбеддинги, или Почему 3 + 5 не всегда 8

Меня зовут Настя, я Data Scientist и TeamLead. Сегодня хочу рассказать про вредную занозу, которая засела у меня в голове и далее я не могла это игнорировать.

Сейчас я читаю книгу Себастьяна Рашки «Строим LLM с нуля». Читаю по-взрослому: глава за главой, с открытым Jupyter рядом и кружкой кофе (не первой). И на разделе 2.8 про позиционные эмбеддинги я встала. Прямо как вкопанная.

Причём там не сложно! В книге это буквально три строчки кода: есть таблица эмбеддингов слов, есть таблица эмбеддингов позиций, складываем — и вперёд, к attention. В других учебниках и статьях то же самое: «просто прибавим вектор позиции той же размерности». Ну понятно же? Понятно. Только в голове вместо ясности почему-то остался список вопросов:

Изнать подробности

Anthropic заблокировала меня и я потерял подписку за $100, но сохранил год работы и собрал личную RAG-базу

Привет, Хабр!

Кто нибудь уже получал такие письма счастья? Причина - страна, оно и понятно, я вообще почитал что они начали массово банить за подключение через VPN и даже не разбираются что стоит за этим туннелем. Китай много так же банят. Я активно пользовался (около 5 часов в сутки) больше года активно и тут еще сгорела подписка за 100$.

Деньги - это неприятно, конечно... Но для меня более важно: проекты, переписки, решения, объяснения, почему мы выбрали именно такой вариант, где уже обкакались. Конкретный объем контекста меня в широком смысле: и работы, и личных вопросов.

Читать далее

Workflow as a YAML: детерминированная песочница для агента поверх Pydantic AI

Агент уже пишет код за нас, но с автоматизацией для бизнеса всё иначе: он косячит на каждом шаге, в JSON-трейсе тысячи вызовов, а переписанный промпт вы даже не заметите. Я перестал перепроверять агента вручную — загнал его в жёсткие рамки: wrapper над Pydantic AI, MCP-инструменты, скиллы и Studio с отладчиком. Рассказываю, почему иначе нельзя, и показываю код.

Читать далее

Пишу разбор демок CS2 на вахтах: Go‑парсер, ИИ без фантазий и грабли Laravel

Я работаю в авиации, езжу на вахты, у меня ипотека и семья — и по вечерам после смены пишу платформу для тренировок в CS2. Внутри: Go-парсер, который разбирает демку на 350 МБ за 4 секунды, ИИ-разбор, где факты считает код, а модель только объясняет, тактическая доска на Reverb и пачка граблей Laravel, которые стоили мне вечеров.

Читать далее

Минус ₽6,5 млн на копирайтинге за полгода: как мы собрали ИИ-редакцию в финтехе и при чём тут грибы

Наша команда маркетинга активно использует «ИИ-оркестр» для генерации текстового и графического контента на сайте. При этом мы стараемся выдержать баланс рукописного и сгенерированного контента, чтобы транслировать для пользователей только качественный материал. Рассказываем, как нам удалось повысить эффективность и сократить расходы в канале органического трафика на 6,5 млн рублей за полгода.

Так при чем тут грибы?

Агент повесил Bash одной кавычкой. Как детерминированный FSM спасает CLI-рантаймы

Представьте: ваш автономный агент генерирует команду для терминала, но ошибается на один символ. Шелл уходит в бесконечное ожидание, а процесс агента намертво зависает. Сегодня разберём, почему регулярки не спасают от этой боли, и покажем, как детерминированный конечный автомат (FSM) на хуке PreToolUse снимает проблему на уровне инфраструктуры.

Читать далее

[Перевод] Я встроил процессор RISC-V в веса Qwen 3.5, а памятью ему стали слои DeltaNet

Qwenputer — это обычная Qwen 3.5 4B, в веса которой скомпилирован 32-битный процессор RISC-V (RV32IM). Оперативной памятью ему служат собственные слои Gated DeltaNet модели: при гейте 1, силе записи 1 и one-hot-ключах каждая запись перезаписывает ровно одну строку состояния, а one-hot-запрос возвращает точное значение. Процессор занимает 11 слоёв перед 32 слоями Qwen, проходит официальные riscv-tests и выполняет C и MicroPython внутри прямых проходов модели, без внешних инструментов. На длинной арифметике NUPA точность выросла с 48,6% до 100%, примерно на 230 000 позиций вывода не нашлось ни одного расхождения с эталонной машиной. Автор объясняет, как это устроено, где ограничения и как к модели прикрутили файловую систему.

Читать далее

Claude Fable 5.1 или GPT-6 Astra для базы знаний: считаем стоимость 20 обращений и границу экономии

Расчет стоимости 20 обращений к базе знаний: почему четырехкратная разница в цене чтения кэша дает лишь 16,7% экономии, когда преимущество исчезает и как пересчитать сценарий с помощью Python.

Читать далее

10 лет работал сеньором и сейчас охренел с собеседований корпоратов

Коротко, что случилось:

— Head of Cloud Platform нашей команды 10 лет был senior+ разрабом, когда пошёл искать работу — его отбрили несколько раз корпораты, пару раз — по формальным причинам.

— Он знатно так подохренел от того, как сейчас стал устроен найм и что с рынком.

— Если что, у него огромный опыт в разработке тяжёлых систем и опенсорс-опыт (один из инфраструктурных продуктов с 10 тысячами звёзд на Гитхабе).

— Когда вышел на проект — проработал новую систему собеседований для нашей команды с нуля, чтобы такого буллшита не было.

А вообще это пост про то, как поменялась профессия после прихода агентских ИИ-сред и насколько забавно выглядит переходный процесс.

Начнём с того, что сейчас в принципе отпала необходимость в разработчике как в узком специалисте. Все, кто остался на рынке задорого, стали T-shaped. То есть одновременно и бэкендеры, и фронтендеры, и умеют деплоить, и плюс ещё продуктово мыслят, параллельно думая о бизнесе.

Собственно, у него такая работа и была последние годы, поэтому доходы у него и были сильно выше рынка.

И вот с такой подготовкой он закончил крупный проект и вышел на рынок труда с уверенностью, что его опыт там точно нужен. Казалось бы, что могло пойти не так?

Читать далее

Контур вокруг LLM: как AI Gateway снижает риск утечек и prompt injection

Разберём, как защищать данные и языковые модели в компании. Что такое AI Gateway, зачем его ставят между приложением и моделью, что он успевает перехватить и чего не умеет.

Посмотрим на реальных примерах, как утекают данные и как работает prompt injection. Из каких проверок собирают защиту, что из них крутится на обычном процессоре, а что требует видеокарты, и сколько это стоит в рублях. Отдельно разберём агентов, которые сами ходят по сети, и то, что требуют ФСТЭК и Банк России.

Сразу оговорюсь: полной защиты от prompt injection нет ни у кого, и статья её не обещает. Речь о том, как снизить вероятность атаки и ограничить ущерб от той, что всё равно пройдёт.

Читать далее

Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры

В прошлой статье я пообещал дообучить самую маленькую модель своего лаунчера Lumi прямо на MacBook и показать, что выйдет, «даже если станет хуже». Как в воду глядел. После 328 примеров и LoRA через MLX модель решила, что 2 + 2 × 2 = 4, а «скуф» — это лодка, и набрала на запечатанном экзамене 4 из 23 вместо 6. Со второй попытки я вернул её к исходным 6. Рассказываю, что пошло не так, почему маленькой модели мало нескольких сотен примеров и почему обученную модель пока нельзя перенести в Ollama.

Читать далее
❌