Банк выбрал клиентов, которым готов предложить кредит, рассчитал предварительные условия и запустил кампанию. Через несколько месяцев доля оформивших кредит среди получателей предложения оказалась выше, чем среди остальных клиентов. Но как понять, какая часть этой разницы связана с предложением банка?

Расскажу, как мы решали такую задачу с помощью Propensity Score Matching.

В цифровых продуктах даже мелочь — цвет кнопки, формулировка заголовка или порядок экранов — влияет на поведение пользователей. Чтобы не гадать, команды запускают A/B-тесты: сравнивают варианты и выбирают решение, подтверждённое данными. Сегодня мы разберём надёжные способы всё испортить.

Разработчик закончил фичу, код покрыт тестами, на стенде всё зелёное, на проде ничего не падает. Команда уже готова раскатить изменения на всех, но приходят аналитики и говорят: «Эксперимент невалиден, данные использовать нельзя». Звучит как бюрократия, пока не разберёшься в деталях.

Любой A/B-тест состоит из маршрутизации пользователей, логики входа в эксперимент, деления на группы, метрик и правил принятия решений. Ошибка на любом этапе превращает тест в генератор красивых, но бесполезных графиков.