❌

Reading view

Когда A/B-тест провести сложно: оцениваем эффект предодобренных кредитов с помощью PSM

Банк выбрал клиентов, которым готов предложить кредит, рассчитал предварительные условия и запустил кампанию. Через несколько месяцев доля оформивших кредит среди получателей предложения оказалась выше, чем среди остальных клиентов. Но как понять, какая часть этой разницы связана с предложением банка?

Расскажу, как мы решали такую задачу с помощью Propensity Score Matching.

Читать далее
  •  

Вредные советы для тех, кто хочет угробить A/B-эксперимент

В цифровых продуктах даже мелочь — цвет кнопки, формулировка заголовка или порядок экранов — влияет на поведение пользователей. Чтобы не гадать, команды запускают A/B-тесты: сравнивают варианты и выбирают решение, подтверждённое данными. Сегодня мы разберём надёжные способы всё испортить.

Разработчик закончил фичу, код покрыт тестами, на стенде всё зелёное, на проде ничего не падает. Команда уже готова раскатить изменения на всех, но приходят аналитики и говорят: «Эксперимент невалиден, данные использовать нельзя». Звучит как бюрократия, пока не разберёшься в деталях.

Любой A/B-тест состоит из маршрутизации пользователей, логики входа в эксперимент, деления на группы, метрик и правил принятия решений. Ошибка на любом этапе превращает тест в генератор красивых, но бесполезных графиков.

Читать далее
  •  

Минус ₽6,5 млн на копирайтинге за полгода: как мы собрали ИИ-редакцию в финтехе и при чём тут грибы

Наша команда маркетинга активно использует «ИИ-оркестр» для генерации текстового и графического контента на сайте. При этом мы стараемся выдержать баланс рукописного и сгенерированного контента, чтобы транслировать для пользователей только качественный материал. Рассказываем, как нам удалось повысить эффективность и сократить расходы в канале органического трафика на 6,5 млн рублей за полгода.

Так при чем тут грибы?
  •  

Как не занизить D30 retention: незрелые когорты и расчёт на SQL

Представим: в отчёт добавили новые регистрации, и общий D30 retention снизился с 20% до 10%. При этом ни один из пользователей, для которых D30 уже наступил, не изменил своё поведение. Ошибка может оказаться в знаменателе: туда попали люди, чей тридцатый день ещё впереди.

Разберём эту ситуацию на условных данных и воспроизведём расчёт в SQLite. Отдельно проверим три случая: пользователь вернулся, пользователь не вернулся и результат пока нельзя измерить.

Читать далее
  •  

До какого места дочитывают ваши статьи: делаем процентильную аналитику прокрутки для WordPress

Вы опубликовали статью. Счётчик показывает пару тысяч просмотров. Но кто-нибудь её на самом деле прочитал? Обычная аналитика на этот вопрос не отвечает: человек, закрывший вкладку через три секунды, и человек, дочитавший до последней строки, для счётчика одинаковы — «1».

Хуже того, ответа не даёт и «средняя глубина прокрутки», которая есть почти в каждом сервисе веб-аналитики. О том, почему она врёт и как я решал обе задачи в бесплатном плагине AnGo Scroll Analytics для WordPress, — эта статья. Внутри: процентили вместо среднего, трекер на чистом JavaScript, отправка данных через sendBeacon, upsert с GREATEST() и принцип «клиент враждебен».

Читать далее
  •  

«Лучше пять раз переспросить, чем один раз выдумать» — я посадил ИИ-ассистента отвечать коллегам в рабочем мессенджере

Всем привет! Меня зовут Александр, я руковожу направлением аналитики страховой вертикали в Банки.ру. Наша вертикаль живёт в отчётах и данных: продажи ОСАГО и КАСКО, ипотечное страхование, кроссы, пролонгация, воронки, кэшбэк и сверки с партнёрами.

И каждый день в рабочем мессенджере на меня прилетает поток одного и того же жанра: «где посмотреть КВ по ОСАГО за сентябрь?», «почему упало одобрение у страховой?», «сделай выгрузку по регионам», «это у нас баг или так и задумано?». КВ здесь комиссионное вознаграждение.

Постепенно аналитик превращается в справочное бюро. Ответы есть, но живут они в голове, в SQL-запросах и в вики, а вопросы приходят в личку и в каналы в любой момент, в том числе пока ты на встрече. Я решил посадить на эту очередь ИИ-ассистента. Условие одно и жёсткое: ассистент не выдумывает. В аналитике выдуманная цифра хуже отсутствия ответа, потому что по ней примут решение.

В статье рассказал, как бот устроен, какие правила не дают ему врать и как он им учится.

Читать далее
  •  

Как ИИ за два года из помощника аналитика превратился в рабочий инструмент тимлида

Привет, Хабр! Меня зовут Даниил Иванов, я руководитель группы аналитики в департаменте CRM&BPM в КОРУСе. Два года назад я уже писал статью, как применяю ИИ в работе аналитика.

Тогда это были первые эксперименты, теперь я стал руководителем, вместо отдельных чатов работаю с корпоративным ИИ‑продуктом, у которого есть единый контекст по проектам. И мои запросы к ИИ тоже изменились. В этой статье поделюсь, как изменилось мое восприятие ИИ за два года, что получилось систематизировать, где ИИ реально экономит время, а где пока упирается в ограничения. В конце — конструктор, где собрал свой опыт работы с LLM.

Читать далее
  •  

Как стать бизнес‑аналитиком в IT‑компании и сколько можно зарабатывать

Бизнес-аналитик — один из немногих специалистов в IT-компании, которому одновременно звонят разработчик, продакт-менеджер, директор по продажам и заказчик. И все четверо хотят разного. Задача бизнес-аналитика — понять, что им нужно, как привести это к общему знаменателю и зафиксировать, чтобы команда могла работать.

Читать далее
  •  

Первый проект Process Mining: как выбрать процесс для оптимизации, собрать команду и не застрять на этапе пилота

Первый проект процессной аналитики обычно начинается с выгрузки журнала событий из учетной системы. По нему команда строит цифровой двойник процесса и находит петли и возвраты. Труднее сделать процессную аналитику постоянным рабочим инструментом компании, чтобы работа не закончилась презентацией по итогам пилота. Судя по глобальному опросу Deloitte, это удается не всем: за четыре года доля компаний, которые применяют Process Mining на уровне всей организации, почти не изменилась.

Эта статья — для тех, кто впервые запускает процессную аналитику: будущих руководителей центров компетенций, операционных директоров и процессных аналитиков. Разберем шесть шагов от постановки исследовательских вопросов и выбора процесса до оценки результатов пилота и перехода к постоянному мониторингу. Покажем, как собрать команду, определить KPI и принять решение о масштабировании. Возможности инструментов рассмотрим на примере VK Business Analytics — платформы VK Tech для анализа и оптимизации процессов.

Читать далее
  •  

Первый проект Process Mining: как выбрать процесс для оптимизации, собрать команду и не застрять на этапе пилота

Первый проект процессной аналитики обычно начинается с выгрузки журнала событий из учетной системы. По нему команда строит цифровой двойник процесса и находит петли и возвраты. Труднее сделать процессную аналитику постоянным рабочим инструментом компании, чтобы работа не закончилась презентацией по итогам пилота. Судя по глобальному опросу Deloitte, это удается не всем: за четыре года доля компаний, которые применяют Process Mining на уровне всей организации, почти не изменилась.

Эта статья — для тех, кто впервые запускает процессную аналитику: будущих руководителей центров компетенций, операционных директоров и процессных аналитиков. Разберем шесть шагов от постановки исследовательских вопросов и выбора процесса до оценки результатов пилота и перехода к постоянному мониторингу. Покажем, как собрать команду, определить KPI и принять решение о масштабировании. Возможности инструментов рассмотрим на примере VK Business Analytics — платформы VK Tech для анализа и оптимизации процессов.

Читать далее
  •  
❌