TL;DR Я собрал плагин, в котором LLM-агент сам водит курсором по Windows-приложению и каждое своё действие пишет в журнал с точным временем. Из этого журнала — не из анализа видео — потом собирается демо-ролик: камера подъезжает к кнопке за 0,55 секунды до клика. Рекордер, который висит на хуке мыши, узнаёт о клике в момент клика. Его камера либо догоняет, либо чинит это вторым проходом по уже снятому файлу. Здесь весь сценарий известен до первого кадра — поэтому ролик пересобирается с другими настройками, ни разу больше не запустив приложение. Ниже — архитектура, три загубленных дубля с цифрами и два моих собственных вывода, которые развалились от замеров этой же работы. Как это выглядело Задача пришла не от меня. На потоке курса по вайб-кодингу ученица разбирала свою рабочую проблему: скринкасты продукта нужно снимать регулярно, и хочется, чтобы их снимала машина, а не человек.
Читать далееАвтоматизация
Камера узнаёт о клике за 0,55 секунды до того, как он случится
