Привет, Хабр! Мы — студенты мастерской по сервисам и платформам ИИ Инженерно-математической школы НИУ ВШЭ и VK: Павел Алексеев, Александр Рожкин, Андрей Аргаткин, Алексей Павлов и Матвей Каменев. В этом проекте мы проверяли, как повысить качество моделей с линейным вниманием до уровня обычного трансформера. Такой механизм позволяет обрабатывать длинные последовательности без квадратичного роста вычислительных затрат. Это делает его перспективным для более экономного обучения языковых моделей и обработки длинных документов. При авторегрессионной генерации текста он помогает экономить память: вместо растущего KV-cache можно хранить состояние фиксированного размера.

Отправной точкой стала архитектура Dense Attention. Она использует простые матричные операции без softmax, но в опубликованных экспериментах показывает высокое качество. Наш руководитель Андрей Аргаткин в статье о Dense Attention задал новое направление исследования. Мы разберёмся, какие компоненты модели обеспечивают этот результат и можно ли перенести их на другие варианты внимания.

Рабочая гипотеза — линейные модели отстают по качеству не только из-за замены softmax, но и из-за архитектурных настроек и обучения. Число голов, позиционное кодирование и схема слоёв, подобранные для стандартного трансформера, не обязательно оптимальны для линейного механизма. Мы проверяли, сократят ли разрыв по качеству изменение этих компонентов и MLM-предобучение, если не возвращаться к глобальному softmax-вниманию.

Первый проект процессной аналитики обычно начинается с выгрузки журнала событий из учетной системы. По нему команда строит цифровой двойник процесса и находит петли и возвраты. Труднее сделать процессную аналитику постоянным рабочим инструментом компании, чтобы работа не закончилась презентацией по итогам пилота. Судя по глобальному опросу Deloitte, это удается не всем: за четыре года доля компаний, которые применяют Process Mining на уровне всей организации, почти не изменилась.

Эта статья — для тех, кто впервые запускает процессную аналитику: будущих руководителей центров компетенций, операционных директоров и процессных аналитиков. Разберем шесть шагов от постановки исследовательских вопросов и выбора процесса до оценки результатов пилота и перехода к постоянному мониторингу. Покажем, как собрать команду, определить KPI и принять решение о масштабировании. Возможности инструментов рассмотрим на примере VK Business Analytics — платформы VK Tech для анализа и оптимизации процессов.

Первый проект процессной аналитики обычно начинается с выгрузки журнала событий из учетной системы. По нему команда строит цифровой двойник процесса и находит петли и возвраты. Труднее сделать процессную аналитику постоянным рабочим инструментом компании, чтобы работа не закончилась презентацией по итогам пилота. Судя по глобальному опросу Deloitte, это удается не всем: за четыре года доля компаний, которые применяют Process Mining на уровне всей организации, почти не изменилась.

Эта статья — для тех, кто впервые запускает процессную аналитику: будущих руководителей центров компетенций, операционных директоров и процессных аналитиков. Разберем шесть шагов от постановки исследовательских вопросов и выбора процесса до оценки результатов пилота и перехода к постоянному мониторингу. Покажем, как собрать команду, определить KPI и принять решение о масштабировании. Возможности инструментов рассмотрим на примере VK Business Analytics — платформы VK Tech для анализа и оптимизации процессов.