Привет! Это команда AI VK. В конце января мы рассказали про Discovery-платформу — единый инфраструктурный слой для рекомендаций, поиска и рекламы во всех продуктах VK. Тогда разобрали её устройство, а теперь расскажем, что улучшили за последние месяцы — от запуска Discovery Portal до оптимизации инфраструктуры — и как эти изменения повлияли на продукты. 

Привет, Хабр. Меня зовут Павел Кутаков. Я главный архитектор VK Data Platform, VK Tech.

Более 10 лет подход с разделением compute- и storage-слоев де-факто считается стандартом, следование которому позволяет максимально эффективно использовать доступные ресурсы. Но на практике подобный подход применим не всегда — например, по нашему мнению, он не всегда оптимален для построения платформ данных. Именно поэтому при разработке VK Data Platform мы реализовали единую гиперконвергентную архитектуру. 

В статье расскажу, почему мы выбрали такой подход, как обеспечиваем гибкость решения и с помощью каких практик гарантируем безопасность и отказоустойчивость.