Модель кредитного риска, обученная на данных до 2009 года, ранжирует займы с ROC-AUC 0.89. Ожидаемые потери портфеля она оценила в 161 млн долларов, реальные составили 546. Увидеть эту ошибку можно было еще в 2007 году, за год до дна ROC-AUC, но не в метриках качества, а взвесив ошибку модели деньгами. Ниже — прогон на 26.5 млн реальных ипотечных записей, метрики против денег. Числа воспроизводятся до последнего разряда — код движка и инструкции в опенсорсе.

Обычно ко мне обращаются с похожим запросом: поставил Obsidian, посмотрел видео, разложил папки как показывали, дальше не пошло. Одна клиентка описала это так - поставила программу под большое научное исследование и утонула в роликах о том, как ею пользоваться.

Я собираю персональные системы в Obsidian на заказ. Работа начинается с таблицы: слева боли, сверху предполагаемые решения, на пересечениях отметки. Ниже - как её заполнить и что в ней потом видно.

Маркетинг винит продукт за мёртвую фичу, продукт маркетинг — за лень. А может, дело в том, что настоящую стратегию давно подменил фантик из ритуалов, и обе команды просто не знают, как работать вместе?

У любой системы, обученной на исторических данных, есть один общий страх, и он серьёзнее переобучения, утечек и сидового шума вместе взятых. Звучит просто: рынок, на котором вы будете торговать, не обязан быть похож на рынок, на котором вы учились.

Переобучение ловится честной валидацией. Утечки — дисциплиной признаков. Сидовый шум — ансамблями. А смена режима не ловится ничем заранее: вы узнаёте о ней тогда, когда система уже теряет деньги в реальном времени.

Эта статья — про то, как я пытался измерить этот риск заранее, что из этого вышло (спойлер: включая одну ошибку, которая на время убедила меня, что всё гораздо хуже, чем на самом деле), и какие страховки по результатам измерений работают, а какие — красивые идеи с отрицательной ценностью.

Какое-то время назад я выкладывал статью на Хабр про свое obsidian хранилище.

Я получил хороший фидбэк и некоторые идеи. Также я понял, что довольно большая часть моего obsidian нуждается в оптимизации и структуризации. В итоге нашел свободный выходной, чтобы немного перестроить хранилище. Я все это сделал и тут расскажу, как теперь выглядит мой obsidian.

Кроме простой структуризации и удаления лишнего, я также провел некоторые махинации над кодом dataviewjs своей библиотеки книг и доделал свою домашнюю страницу, добавив интеграцию со своей основной библиотекой и поработав на css составляющей. В общем-то были еще некоторые изменения, но об этом всем будет далее.

Ко мне однажды направили технаря перенимать опыт инцидент-менеджмента. Он возглавлял инженерную команду в розничной сети с большим количеством распределённых точек продаж (отрасль, отличная от IT, и другая юрисдикция). Сверху ему спустили установку: съезди, посмотри, как у людей налажен инцидент-менеджмент, и перейми лучшие практики.

Я стал делиться своим опытом. Рассказывал, как выстраивается работа с инцидентами: как узнавать о проблемах клиентов как можно раньше, как наладить взаимодействие клиентских служб и инженерных команд, какие метрики и KPI можно использовать, как вести документацию и постмортемы. Он вежливо слушал, кивал и что-то записывал.

И при этом я видел, что ничего не происходит. Знаете это ощущение, когда объясняешь человеку, а он не загорается? Слушает, но не вовлекается. Эти знания не приближали решение его проблемы. У него болело другое.