Login
Камера узнаёт о клике за 0,55 секунды до того, как он случится
TL;DR
Я собрал плагин, в котором LLM-агент сам водит курсором по Windows-приложению и каждое своё действие пишет в журнал с точным временем. Из этого журнала — не из анализа видео — потом собирается демо-ролик: камера подъезжает к кнопке за 0,55 секунды до клика.
Рекордер, который висит на хуке мыши, узнаёт о клике в момент клика. Его камера либо догоняет, либо чинит это вторым проходом по уже снятому файлу. Здесь весь сценарий известен до первого кадра — поэтому ролик пересобирается с другими настройками, ни разу больше не запустив приложение.
Ниже — архитектура, три загубленных дубля с цифрами и два моих собственных вывода, которые развалились от замеров этой же работы.
Как это выглядело
Задача пришла не от меня. На потоке курса по вайб-кодингу ученица разбирала свою рабочую проблему: скринкасты продукта нужно снимать регулярно, и хочется, чтобы их снимала машина, а не человек. Мы пошли искать готовое — и не нашли (ниже раздел с двумя десятками проверенных репозиториев). Так что инструмент пришлось написать с нуля, прямо по ходу разбора.
Проверяли его на задаче, которая звучала буквально так: «открой калькулятор, посчитай 100 × 100, запиши демо». Дальше я не трогал мышь.
Агент нашёл окно, поставил его на нужный монитор, запустил запись, кликнул 1, 0, 0, ×, 1, 0, 0, =, остановился, отрендерил ролик и вернул строку вида «37.3s recorded → 27.7s output (17 segments)». В ролике 27,7 секунды: чёрные поля вокруг окна, мягкая тень, курсор с плавным следом. Камера наезжает на цифровую клавиатуру перед тем, как палец до неё дойдёт, а в финале на дисплее — 10 000.
