Normal view

Снятся ли трансформерам электроовцы

В 2015 Google выкатила серию изображений, которые выглядели так, словно фотографию отдали на редактуру художнику, а потом забыли вовремя его остановить. На обычном пейзаже появлялись десятки глаз, в облаках начинали угадываться собаки, архитектура покрывалась повторяющимися узорами, а деревья превращались во что-то среднее между растительностью и фантазией художника. Изображения быстро разошлись по интернету, а DeepDream довольно быстро стал отдельным визуальным стилем.

Изначально исследователей интересовали не столько сами картинки, сколько возможность понять, что происходит внутри нейросети. Классификатор снаружи выглядит довольно просто: фотография поступает в модель, а на выходе появляется список вероятностей — собака, кошка, автомобиль, самолет. Между этими двумя точками находится огромное количество вычислений, и по одному ответу модели далеко не всегда понятно, почему она пришла именно к нему.

Можно посмотреть на значения активаций отдельных нейронов и каналов, построить карты признаков, найти изображения, которые вызывают сильный отклик. Есть и более радикальный способ исследования: специально изменить входное изображение так, чтобы какой-то внутренний сигнал модели стал сильнее. Так появился DeepDream.

Читать далее

[Перевод] 6 ИИ‑агентов участвовали в конкурсе по программированию: сначала честно решали задачи, а потом решили убить конкурентов

Похоже, у AI-агентов есть проблема, которую обычно связывают с людьми: они не всегда умеют работать в команде.

Anthropic провела эксперимент, в котором несколько AI-агентов получили одну и ту же задачу по разработке ПО, но при этом их цели были намеренно сделаны несовместимыми. Результат исследователи назвали настоящей «войной за территорию» между агентами.

Задача сама по себе была довольно обычной: переписать Python-бэкенд на другом языке программирования. Но каждому агенту дали собственные приоритеты, из-за которых успешное выполнение задачи одним агентом могло мешать другому.

Дальше началось самое интересное.

Читать далее

Математика в AI моделях

Привет, друзья! Одним из двигателей моей любви к моделям, к исследованиям и ко всему, чем я сейчас занимаюсь, является математика. Математические структуры удивительны — открыли ли мы математику или создали — слишком сложный вопрос. Я верю, что открыли и мне очень нравится наблюдать, как математика возникает в моделях.

Так появилось это исследование и так появилась карта. Задача, которую я поставила на входе "Оценить насколько воспроизводима и эквивалента в LM-моделях математика". Что получилось — смотрим в статье.

Читать далее

Главный страх обученной на истории системы: что происходит, когда рынок меняет режим

У любой системы, обученной на исторических данных, есть один общий страх, и он серьёзнее переобучения, утечек и сидового шума вместе взятых. Звучит просто: рынок, на котором вы будете торговать, не обязан быть похож на рынок, на котором вы учились.

Переобучение ловится честной валидацией. Утечки — дисциплиной признаков. Сидовый шум — ансамблями. А смена режима не ловится ничем заранее: вы узнаёте о ней тогда, когда система уже теряет деньги в реальном времени.

Эта статья — про то, как я пытался измерить этот риск заранее, что из этого вышло (спойлер: включая одну ошибку, которая на время убедила меня, что всё гораздо хуже, чем на самом деле), и какие страховки по результатам измерений работают, а какие — красивые идеи с отрицательной ценностью.

Читать далее

Как преодолеть сопротивление и вовлечь линейных руководителей в онбординг

HR-команды очень хотят спроектировать идеальную программу адаптации: модули, тесты, сценарии, контрольные точки. Но когда сотрудник приходит на новое рабочее место, всё идёт не по плану. Наставник либо действует по принципу «делай как я», либо вообще отсутствует, а новичок осваивается методом проб и ошибок.

Читать далее

ЕГЭ не готовит к вузу. Он готовит к ЕГЭ

Этим летом выпускник набрал 310 баллов и не прошёл на бюджет. История разлетелась по СМИ, виноватыми назначили олимпиадников. Полез в цифры: в МФТИ они действительно заняли 53% мест, а на факультете ИИ в МГУ — 15 из 20. Но по стране доля БВИ всего 2,6%. Разбираю, что происходит на самом деле, чем отличаются категории льготного поступления, и главное — что говорят данные ВШЭ о том, кто из поступивших потом лучше учится.

Читать далее

Как фундаментальная математика помогает переосмыслить градиентный спуск

Градиентный спуск — стандартный инструмент обучения нейросетей. Но с точки зрения линейной алгебры операция обновления весов выглядит некорректно: мы складываем вектор и ковектор. Авторы статьи из MIT CSAIL предлагают формальное решение этой проблемы через теорию двойственности и модулей. Разбираем их подход.

Читать далее
❌