Normal view

Как защититься от AI-атак и промт-инъекций: мой рецепт барьера

Осенью 2025 исследователи показали: достаточно попросить AI-браузер «суммаризируй страницу» на подготовленном сайте — и агент вместо пересказа лезет в Gmail пользователя и отправляет данные атакующему. Без вирусов, без эксплойтов, без «скачайте файл». Просто текст на странице.

Это prompt injection — промт-инъекция. В статье: как устроен этот класс атак на пальцах, хроника громких взломов AI-браузеров за последний год со ссылками на первоисточники, и решение, которое мне собрал сам Claude Code по моему ТЗ: хук-«рубильник», отрубающий чувствительные коннекторы после того, как агент читал внешний веб. С механикой, тестами и честными ограничениями.

Читать далее

«Оригинальное видение»: как геймеры сменили гнев на милость к DLSS 5 и что это говорит о восприятии нейросетей в целом

Вчера произошло интересное событие. В сеть утекла ранняя версия DLLS 5, технологии, которая при помощи искусственного интеллекта улучшает (кто-то скажет ухудшает) графику в играх.

Я знаю, что это очень узкая тема, относительно редко обсуждаемая на Хабре, но на нее можно взглянуть шире. Изначальная реакция на DLSS 5 и то, что произошло вчера, многое говорят о том, как мы относимся к нейросетям -- да и вообще к любой новой технологии.

Читать далее

H-Neurons: 0.1% нейронов, из-за которых LLM врут

А вы когда-нибудь задумывались, почему ваша любимая LLM-ка на 70 лярдов параметров, обученная на всем интернете, может с уверенностью университетского профессора выдать, например, что Наполеон изобрел электричество? Откуда это берется?

Долгое время индустрия списывала галлюцинации на плохие данные, кривой RLHF или декодинг. Но группа ученых из Университета Цинхуа залезла внутрь нейросети и нашла конкретных виновников — 0.1% нейронов, которые буквально заставляют модель врать. И это не метафора, это реальные веса в FFN-слоях трансформера.

В этой статье расскажу, что же обнаружили китайские исследователи, как нейроны-галлюцинаторы связаны с чрезмерной уступчивостью модели и почему корень зла лежит в претрейне. Возможно будет любопытно ML- и дата-инженерам, а также всем, кто не хочет быть одураченным в очередном диалоге с GPT-шкой.

Читать далее

Нейросети как дофаминовая яма для взрослых

Раньше существовал естественный барьер между «мне интересно» и «я пошёл это делать». Чтобы попробовать написать музыку, нужно было хотя бы немного разобраться в DAW. Чтобы полезть в SEO, требовалось прочитать документацию, собрать инструменты, понять терминологию. Чтобы сделать сайт на WebGL, сначала неплохо было научиться оптимизировать такие сайты.

Теперь этот барьер почти исчез. И неожиданно оказалось, что это не только преимущество…

Читать далее

1360+ промтов для генерации изображений: реклама, товары, инфографика, профили. Забирайте бесплатно в одной таблице

Пригодится дизайнерам, блогерам, предпринимателям, маркетологам. Более тысячи промтов для генератора картинок. 

Просто копируете, вставляете в нейросеть, если надо правите промт по-своему, и генерируете изображение. В таблице есть пример-картинка для каждого промта.

Читать далее

Снятся ли трансформерам электроовцы

В 2015 Google выкатила серию изображений, которые выглядели так, словно фотографию отдали на редактуру художнику, а потом забыли вовремя его остановить. На обычном пейзаже появлялись десятки глаз, в облаках начинали угадываться собаки, архитектура покрывалась повторяющимися узорами, а деревья превращались во что-то среднее между растительностью и фантазией художника. Изображения быстро разошлись по интернету, а DeepDream довольно быстро стал отдельным визуальным стилем.

Изначально исследователей интересовали не столько сами картинки, сколько возможность понять, что происходит внутри нейросети. Классификатор снаружи выглядит довольно просто: фотография поступает в модель, а на выходе появляется список вероятностей — собака, кошка, автомобиль, самолет. Между этими двумя точками находится огромное количество вычислений, и по одному ответу модели далеко не всегда понятно, почему она пришла именно к нему.

Можно посмотреть на значения активаций отдельных нейронов и каналов, построить карты признаков, найти изображения, которые вызывают сильный отклик. Есть и более радикальный способ исследования: специально изменить входное изображение так, чтобы какой-то внутренний сигнал модели стал сильнее. Так появился DeepDream.

Читать далее

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по 24 ГБ и 936 ГБ/с каждая не должны выдавать столько, сколько выдаёт одна. Значит, где-то узкое горлышко — и надо разобраться, что и где подкрутить.

Горлышек оказалось несколько, и все снимаются флагами запуска: те же веса — 75 токенов в секунду. Под катом каждый флаг описан по одной схеме: зачем, что писать, что даёт в цифрах, где ломается и с какой строкой в логе. В конце — готовый docker run, три проверки после каждой смены флага и список того, что не сработало. Текст можно отдать целиком агенту с доступом к серверу — это инструкция, а не история.

Читать далее

8 open-source AI-проектов, которые могут заменить часть платного софта

Локальный аналог NotebookLM, фильтр от AI-slop, маршрутизатор для сотен LLM-провайдеров, агент для поиска работы, автоматический пентестер и ComfyUI. Посмотрел, что из этого действительно можно использовать, а где «бесплатно» заканчивается после git clone.

Open source не значит бесплатно.

У проекта может не быть подписки, но останутся расходы на API, Claude Code, GPU, сервер, электричество и несколько часов на настройку. Поэтому ниже не будет обещаний «восемь сервисов, за которые больше никогда не придётся платить».

Зато есть восемь любопытных проектов, которые позволяют забрать себе часть привычного AI-стека, изменить его под свои задачи и в некоторых случаях вообще убрать SaaS из цепочки.

Смотреть подборку

ИИ в 1С, инфраструктура и цифровизация: что будет на Петербургском цифровом хабе

3 сентября в Санкт-Петербурге пройдет Петербургский цифровой хаб 2026. Программу уже утвердили: за один день на площадке соберут несколько ИТ-треков, прямые встречи заказчиков и поставщиков решений, а также сессию Инфостарта об искусственном интеллекте в 1С.

Форум в первую очередь рассчитан на ЛПР, ИТ-директоров, руководителей цифровых подразделений и представителей компаний, которые выбирают решения для автоматизации и развития ИТ-инфраструктуры. Но отдельные сессии будут полезны и практикам: разработчикам, архитекторам, администраторам, аналитикам и руководителям команд.

Читать далее

Как фундаментальная математика помогает переосмыслить градиентный спуск

Градиентный спуск — стандартный инструмент обучения нейросетей. Но с точки зрения линейной алгебры операция обновления весов выглядит некорректно: мы складываем вектор и ковектор. Авторы статьи из MIT CSAIL предлагают формальное решение этой проблемы через теорию двойственности и модулей. Разбираем их подход.

Читать далее
❌