Превратил весь ML-пайплайн в единый вычислительный граф и ни о чём не жалею

Эксперимент на примере классификации изображений CIFAR-10 с использованием фреймворка ICO: параллельная загрузка данных, аугментации, тренировка и валидация.
Поехали!
Эксперимент на примере классификации изображений CIFAR-10 с использованием фреймворка ICO: параллельная загрузка данных, аугментации, тренировка и валидация.
Поехали!
В 2015 Google выкатила серию изображений, которые выглядели так, словно фотографию отдали на редактуру художнику, а потом забыли вовремя его остановить. На обычном пейзаже появлялись десятки глаз, в облаках начинали угадываться собаки, архитектура покрывалась повторяющимися узорами, а деревья превращались во что-то среднее между растительностью и фантазией художника. Изображения быстро разошлись по интернету, а DeepDream довольно быстро стал отдельным визуальным стилем.
Изначально исследователей интересовали не столько сами картинки, сколько возможность понять, что происходит внутри нейросети. Классификатор снаружи выглядит довольно просто: фотография поступает в модель, а на выходе появляется список вероятностей — собака, кошка, автомобиль, самолет. Между этими двумя точками находится огромное количество вычислений, и по одному ответу модели далеко не всегда понятно, почему она пришла именно к нему.
Можно посмотреть на значения активаций отдельных нейронов и каналов, построить карты признаков, найти изображения, которые вызывают сильный отклик. Есть и более радикальный способ исследования: специально изменить входное изображение так, чтобы какой-то внутренний сигнал модели стал сильнее. Так появился DeepDream.
Читать далее
Похоже, у AI-агентов есть проблема, которую обычно связывают с людьми: они не всегда умеют работать в команде.
Anthropic провела эксперимент, в котором несколько AI-агентов получили одну и ту же задачу по разработке ПО, но при этом их цели были намеренно сделаны несовместимыми. Результат исследователи назвали настоящей «войной за территорию» между агентами.
Задача сама по себе была довольно обычной: переписать Python-бэкенд на другом языке программирования. Но каждому агенту дали собственные приоритеты, из-за которых успешное выполнение задачи одним агентом могло мешать другому.
Дальше началось самое интересное.
Читать далее
«What will be left for us to work on?» (Что останется для нас, когда ИИ станет умнее?)
Посмотрела часовой доклад профессора Принстона Arvind Narayanan на ICML 2026 за вас и подготовила структурированный обзор.
Читать далее
Привет, друзья! Одним из двигателей моей любви к моделям, к исследованиям и ко всему, чем я сейчас занимаюсь, является математика. Математические структуры удивительны — открыли ли мы математику или создали — слишком сложный вопрос. Я верю, что открыли и мне очень нравится наблюдать, как математика возникает в моделях.
Так появилось это исследование и так появилась карта. Задача, которую я поставила на входе "Оценить насколько воспроизводима и эквивалента в LM-моделях математика". Что получилось — смотрим в статье.
Читать далее
У любой системы, обученной на исторических данных, есть один общий страх, и он серьёзнее переобучения, утечек и сидового шума вместе взятых. Звучит просто: рынок, на котором вы будете торговать, не обязан быть похож на рынок, на котором вы учились.
Переобучение ловится честной валидацией. Утечки — дисциплиной признаков. Сидовый шум — ансамблями. А смена режима не ловится ничем заранее: вы узнаёте о ней тогда, когда система уже теряет деньги в реальном времени.
Эта статья — про то, как я пытался измерить этот риск заранее, что из этого вышло (спойлер: включая одну ошибку, которая на время убедила меня, что всё гораздо хуже, чем на самом деле), и какие страховки по результатам измерений работают, а какие — красивые идеи с отрицательной ценностью.
Читать далее
HR-команды очень хотят спроектировать идеальную программу адаптации: модули, тесты, сценарии, контрольные точки. Но когда сотрудник приходит на новое рабочее место, всё идёт не по плану. Наставник либо действует по принципу «делай как я», либо вообще отсутствует, а новичок осваивается методом проб и ошибок.
Читать далее
Этим летом выпускник набрал 310 баллов и не прошёл на бюджет. История разлетелась по СМИ, виноватыми назначили олимпиадников. Полез в цифры: в МФТИ они действительно заняли 53% мест, а на факультете ИИ в МГУ — 15 из 20. Но по стране доля БВИ всего 2,6%. Разбираю, что происходит на самом деле, чем отличаются категории льготного поступления, и главное — что говорят данные ВШЭ о том, кто из поступивших потом лучше учится.
Читать далее
Градиентный спуск — стандартный инструмент обучения нейросетей. Но с точки зрения линейной алгебры операция обновления весов выглядит некорректно: мы складываем вектор и ковектор. Авторы статьи из MIT CSAIL предлагают формальное решение этой проблемы через теорию двойственности и модулей. Разбираем их подход.
Читать далее