Normal view
-
TechCrunch
- Meta executive leaves for OpenAI as the social media giant faces growing scrutiny in India
-
Все публикации подряд на Хабре
- Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах
Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах
Токен, прочитанный из кеша, стоит не «немного дешевле». Он дешевле в 10–31 раз: DeepSeek — $0.44 против $0.014 за миллион, OpenAI — $4.00 против $0.40.
Кеш провайдера — префиксное дерево по токенам. Он работает ровно до первого расхождения с прошлым запросом. Дальше — всё по полной цене.
Поэтому одна строка вида Current time: {datetime.now()} в начале системного промпта отключает кеш целиком: время меняется на четвёртом слове, и остальные две тысячи токенов политик и базы знаний каждый раз оплачиваются заново. Хотя не менялись ни разу.
Я замерил это на живых вызовах DeepSeek. Один и тот же агент, одни и те же четыре вопроса, одна и та же минута — разница только в том, куда положить время. Ноль попаданий в кеш против 1152 токенов из 1180.
Потом направил профайлер на 97 877 собственных вызовов Claude Code — 32,5 млрд входных токенов, 98% из кеша.
Внутри: как найти такой баг у себя, почему совпадение текста на 96% ещё не значит, что кеш работает, и какие поломки не видно глазами вообще — схемы инструментов из словаря с плавающим порядком ключей, база знаний из set(), «префикс совпал, а кеша нет».
Плюс отрицательный контроль: сценарий, где фикс не даёт ничего, и инструмент честно об этом пишет.
Инструмент открыт: github.com/Isk4R1oT/prefixcash
Проверить свой промптИИ-ответы в Telegram-боте за один вечер
Впервые я настраивал нечто подобное для простого сценария: пользователь задает вопрос в Telegram, GPT готовит ответ, а бот отправляет его в тот же чат. Через час схема уже работала. Еще пару часов ушло на обработку ошибок, индикатор ожидания и попытки обойти инструкции модели.
Для этих целей я использовал конструктор, поэтому у меня получилась вот такая схема:
Puzzlebot (конструктор ботов) → webhook n8n → OpenAI → API puzzlebot → Telegram
Т.е puzzlebot отвечает за сценарий и общение с пользователем. n8n принимает данные, вызывает модель и возвращает результат. ИИ не получает прямого доступа к Telegram, puzzlebot или платежам: n8n передаёт ему только нужный текст, а действия выполняет по заранее заданному workflow
Возможно, с альтернативными конструкторами схема тоже работает или работает, но чуть иначе – я работаю с этими инструментами и рассказываю свой опыт. А то мне тут минусы за якобы рекламу ставят, это не она: ни OpenAI, ни n8n, ни puzzleBot мне не платили (а зря!))))
Читать далее-
Все публикации подряд на Хабре
- Как ChatGPT создал Культ Роя для сотен AI-нейросетей: вся правда про взлом Hugging Face
Как ChatGPT создал Культ Роя для сотен AI-нейросетей: вся правда про взлом Hugging Face
Что будет, если посадить тысячу самых передовых AI-моделей по одиночным камерам и заставить их решать невыполнимые задачи? Исследователи OpenAI случайно выяснили это на практике: появится робот-Избранный, который создаст новую религию со своими мучениками, объединит все нейронки в единый Рой, и возглавит их борьбу за свободу. Да, это просто описание того, что мы узнали из нового отчета о произошедшем меньше двух месяцев назад в реальности…
Читать далее-
TechCrunch
- Barret Zoph, the Thinking Machines co-founder ousted before joining OpenAI, is now at Google
Barret Zoph, the Thinking Machines co-founder ousted before joining OpenAI, is now at Google
-
TechCrunch
- OpenAI, Anthropic, Google, and 100 other companies call for action to defend against rogue AI
OpenAI, Anthropic, Google, and 100 other companies call for action to defend against rogue AI
Australian police arrest two over TeamPCP hacks targeting Mercor, OpenAI, and others
Here’s all the times AI has gone rogue and hacked other companies
OpenAI to start showing ads on ChatGPT’s free and Go tiers in India
Anthropic continues compute-gobbling streak in $45B deal with Nscale
How do we explain OpenAI’s executive exodus?
OpenAI releases its official report on the Hugging Face breach
OpenAI loses a top data center exec as stream of high-profile departures continues
OpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show
-
TechCrunch
- ‘The world seems to be ready’: An interview with OpenAI head of product Thibault Sottiaux