Путь от первой попытки смоделировать нейрон до систем, которые сегодня пишут код и ведут диалог, занял меньше 70 лет — и почти обвалился на середине. Разбираемся, как перцептрон Розенблатта чуть не похоронил идею нейросетей, что вернуло ее к жизни, и почему трансформеры изменили все.

Нейродетектор обещает поймать ленивого копирайтера, а подозревает длинное тире, слишком аккуратную редактуру. Проверяем, что он действительно измеряет, а потом отдадим ему часть этого текста. Посмотрим, та ли мышь попадется.

Градиентный спуск — стандартный инструмент обучения нейросетей. Но с точки зрения линейной алгебры операция обновления весов выглядит некорректно: мы складываем вектор и ковектор. Авторы статьи из MIT CSAIL предлагают формальное решение этой проблемы через теорию двойственности и модулей. Разбираем их подход.