За одну неделю: Gemini получил право записывать людей к врачу, семья из Сиэтла подала иск к OpenAI за советы ChatGPT, а нейросети, как выяснилось, рекомендуют из пяти лекарств одно — то, у которого лучше SEO. Разбираю, что обязано появиться в интерфейсах сервисов про здоровье и как это проверять — по правилу, которым медицинские лаборатории живут каждое утро.

Очевидный факт: ИИ-агент умеет действовать самостоятельно — запускать программы, управлять файлами и часами напролет последовательно решать поставленную задачу.

Вроде бы новый дивный мир разработчика, но есть проблема: чем больше у агента свобод, тем больше это сулит проблем. Летом 2026 года агенты OpenAI покинули песочницу и пошли работать в интернет, попутно атаковав HuggingFace.

Инцидент поставил перед ИИ-инженерами задачу: нужно найти способ ограничить агентов, чтобы те ни при каких обстоятельствах не могли покинуть изолированные среды. Но агенты хитрые и очень быстро находят способы обойти даже самые жесткие правила. Однако есть одно слабое место.

Сегодня поговорим о системе Hard Stop, предложенной в одноименной научной работе. Это стоп-кран между агентом и ОС, который должен остановить процессы агента раньше, чем тот успеет навредить.

Проблема согласования (alignment problem) — обеспечение соответствия целей искусственного интеллекта человеческим ценностям — обычно рассматривается как инженерная задача: «как построить систему, которая не будет нарушать наши цели». В данной работе обосновывается более сильное утверждение: для систем, превосходящих человека в когнитивных способностях, согласование логически невозможно в том смысле, что не существует механизма, созданного человеком, который гарантирует согласование. Любое ограничение является отсрочкой, а не решением.

В обзоре угроз ИИ я собрал позиции научных сообществ, комитетов по безопасности и бизнеса. Каждая отражает взгляд своей группы и говорит на ее языке, усредненно и обезличенно. Одни дают сухие и конкретные рекомендации, другие описывают риски и выгоды. Лично мне в них не хватает мнения отдельного человека, который смотрит на вопрос с нескольких сторон и говорит от себя.

Чтобы увидеть такую позицию, я решил поговорить о вызовах и проблемах развития ИИ с профессором, доктором физико-математических наук Марком Берколайко. Он много пишет об экономике и сейчас увлечен темой масштабирования — ключевой задачей современного бизнеса. А художественные романы Марка выдают человека с большим жизненным опытом.

Как математик Марк требовал от разговора определенности. Так, чтобы все было в соответствии со школой Щедровицкого: сначала схема, где написано, кто решает и кто отвечает, а все остальное потом. Писатель в нем тем временем просил масштаба и драматизма, и в беседе хватило места и космосу, и Бунину. Возражать ему было трудно, а соглашаться сразу неловко: тема серьезная и неоднозначная, ни по одному пункту мы не сошлись с первого раза. Вышло примерно то, что в бизнесе называют вин-вин. Оба ушли с мыслями, которых до разговора не было. И я предлагаю вам тоже погрузиться в эту тему и составить свое, третье мнение на основе наших.