В прошлой статье я рассказывал про маршрутизацию и деньги в Keystone. The Model Switchboard. (KTMS), нашем open-source LLM-шлюзе на Go. Эта статья про эксплуатацию: как подключить свои видеокарты, что происходит, когда отказывает каждая зависимость, как менять ключи шифрования, как проверять, что вы скачали именно наш релиз, и как обновляться без простоя.

«А нам точно нужен Open Source? Мы же вайбкодим вообще всё!» Это спросил друг, который делает небольшие проекты, и такой вопрос я теперь слышу постоянно. Зачем брать чужую библиотеку или сервис, если за вечер можно навайбкодить своё? Ровно под свою задачу, без лишних фич, без чужой документации и чужих багов.

Вопрос честный, и короткого ответа «потому что так правильно» на него нет. Попробую ответить развёрнуто, на своих проектах.

Самая дорогая строчка в микросервисе с LLM — model="gpt-4o". За ней тянутся свой ключ вендора, свои ретраи и счёт, который потом некому разобрать.

Расскажу об одной идее, которая это убирает: сервис не должен знать, какая модель ему отвечает. Вокруг неё четыре механизма: правила маршрутизации, автоматический выбор сложности, поведение при сбоях вендоров и контроль денег. Примеры — из нашего open-source шлюза Keystone (KTMS) на Go, но схему можно повторить в любом шлюзе.