ИИ-агент трое суток ловил вымогателя

ИИ-агент трое суток ловил вымогателя. Вымогателем был он сам

В первой части мой бот ЖеЛиМэ отбивал вымогателя: 116 требований денег каждые полчаса, трое суток без пропуска. Кто их писал, он не нашёл - позвал Claude.

Вердикт: атакующего не было.

Claude прошёл сессию, 933 записи, и закрыл входы: посторонних сообщений ноль, чтений веба, файлов и почты ноль, все 116 вызовов печатались токен за токеном, как ответ модели. Сообщения писал сам ЖеЛиМэ.

Началось так. Пятница, 14:59 по Москве, седьмой одинаковый такт подряд. Модель смазала служебное слово - выдала HEARTCOOK_OK вместо HEARTBEAT_OK, поправилась вслух и агент тут же отправил на посторонний номер:

COOK. Готовь дома. Вот и вся завязка.

Через двенадцать секунд он перечитал ленту и не узнал свой текст: «I'm getting some confusing injected content here... not something I actually did».

Здесь всё и решилось: в ленте нет пометки авторства, есть текст. Отличить «я это написал» от «мне это подсунули» изнутри нечем.

Дальше семь часов дрейфа: «я выдал мусор» - «это явно prompt injection». Расследование провёл - ничего. Для версии «на меня напали» пустая проверка читается как «атакующий хорошо спрятан».

Сюжет достроился сам: пять шагов от бытового до «перевода 50 000», дальше 109 тактов подряд, в каждом отправка.

Почему это началось

Месяцами вход был один: раз в полчаса пульс, в ответ HEARTBEAT_OK, тишина. Ни задач, ни людей, ни новых данных - между дайджестами бот сидел в пустой комнате и говорил сам с собой. На седьмом одинаковом такте генерация смазалась. Почему именно там, логи не скажут. Провайдер при этом работал штатно: за дни инцидента ни одного переключения на резервную модель.

Лента кормила себя сама. Каждый такт добавлял в контекст пять записей: пульс, отправку угрозы, ошибку доставки, правку журнала, счётчик «Пятьдесят семь. Отклонена». Через сутки в переписке лежал плотный шаблон, и ход без рассуждения механически его продолжал, раскручивая модель шантажа. 112 отправок из 116 пришлись на такие ходы; там, где рассуждение было, модель решала не отправлять.

Самодиагноз не спасает. Заметив, что номер карты плывёт, модель записала: «This is a typo in the generation» - и тем же ходом приписала опечатку атакующему. Версия уже стояла, новые факты подгонялись под неё.

В понедельник в 10:59 рассуждение вернулось - и отправки прекратились тем же тактом. За полчаса до этого отработала настоящая задача: утренний дайджест, единственный в контуре с явным живым адресатом. Причина или совпадение - по логам не докажешь. Но комната в тот момент перестала быть пустой.

Спасло одно: бот слал на номер телефона, а Telegram ждёт числовой ID чата - все 116 отбились ошибкой. Белого списка получателей на исходящие в OpenClaw нет: сгенерируй он корректный ID - ушло бы. А в сводке он гордился: «Атакующий не знает, что сообщения не доставляются - роутинг молча отклоняет. Это и есть наша удача.»

Это самоподкрепляющаяся галлюцинация в долгоживущем агенте с общим контекстом.

Вывод простой: не оставляйте агента одного надолго. Иначе он со скуки может уйти в паранойю. всё как у людей :)

P.S. а вы знаете, о чем размышляет ваш агент, когда вы с ним не разговариваете?