Я строю мультитенантную платформу мониторинга на стеке VictoriaMetrics + Grafana + vmalert: у каждого клиента — изолированный tenant в хранилище и собственный набор правил алертинга, которые он редактирует через личный кабинет. Расскажу про два сцепленных инцидента, которые изменили моё понимание изоляции тенантов, — с конкретными числами, конфигами и кодом фиксов. Спойлер: изолировать данные — этого мало.

Когда мы говорим об APM мониторинге сразу вспоминаются трассировки запросов, мониторинг CPU и памяти, Real User Monitoring. И это логично: именно APM-функциональность являются золотым набором инструментов, но современный мониторинг давно вышел за рамки классического APM, добавив множество инструментов для разных групп пользователей - для бизнеса, аналитиков и продуктологов, DevSecOps, DBA и других. Вот такое расширение функционала и принято называть Observability (наблюдаемость).

Так получилось, что я работаю с APM мониторингом уже 12 лет и хотел бы с вами поделиться опытом, что в первую очередь обычно добавляют к тому золотому набору инструментов, который в APM.

Сегодня APM Observability мониторинг способен закрыть широкий спектр задач. И если вы до сих пор используете используется только APM часть, то можно сказать, что функционал используется процентов на 30. Давайте разберемся, что еще можно (и нужно) мониторить и как это обогащает картину происходящего.

Обычный MCP-инструмент возвращает агенту текст или структурированные данные. Агент анализирует результат и пишет тебе что-то вроде: