Как устроен наш мозг и какие информационные процессы в нём протекают? Какие цели он преследует? Какой моделью данных и какой алгеброй можно передать его работу? Почему мы подвержены разным когнитивным искажениям? Как использовать наш мозг на полную катушку? И т.д. и т.п.

Меня зовут Михаил Кочеров. Вопросы выше не дают мне покоя. Хочется понять, как работает наш мозг. А что значит понять? Вот знание о морфологии мозга или о его развитии от момента зачатия до момента смерти — это понято или нет? Каждому своё. Для меня понять — значит, уметь воспроизвести пусть и в упрощённом виде. Постичь ключевые механизмы и знать, как из них собрать работающую систему, воспроизводящую интеллектуальные свойства мозга.

Меня зовут Настя, я Data Scientist и TeamLead. Сегодня хочу рассказать про вредную занозу, которая засела у меня в голове и далее я не могла это игнорировать.

Сейчас я читаю книгу Себастьяна Рашки «Строим LLM с нуля». Читаю по-взрослому: глава за главой, с открытым Jupyter рядом и кружкой кофе (не первой). И на разделе 2.8 про позиционные эмбеддинги я встала. Прямо как вкопанная.

Причём там не сложно! В книге это буквально три строчки кода: есть таблица эмбеддингов слов, есть таблица эмбеддингов позиций, складываем — и вперёд, к attention. В других учебниках и статьях то же самое: «просто прибавим вектор позиции той же размерности». Ну понятно же? Понятно. Только в голове вместо ясности почему-то остался список вопросов:

Qwenputer — это обычная Qwen 3.5 4B, в веса которой скомпилирован 32-битный процессор RISC-V (RV32IM). Оперативной памятью ему служат собственные слои Gated DeltaNet модели: при гейте 1, силе записи 1 и one-hot-ключах каждая запись перезаписывает ровно одну строку состояния, а one-hot-запрос возвращает точное значение. Процессор занимает 11 слоёв перед 32 слоями Qwen, проходит официальные riscv-tests и выполняет C и MicroPython внутри прямых проходов модели, без внешних инструментов. На длинной арифметике NUPA точность выросла с 48,6% до 100%, примерно на 230 000 позиций вывода не нашлось ни одного расхождения с эталонной машиной. Автор объясняет, как это устроено, где ограничения и как к модели прикрутили файловую систему.