На одном из вопросов Claude искал ответ очень долго. Сотни запросов. Десятки сайтов. 12 языков. Ничего.
И тогда он остановился и начал рассуждать не о вопросе, а о самом вопросе.
"Слишком специфичный. Выглядит искусственно. Похоже, меня тестируют."
Представьте студента, который сидит на экзамене, не может решить задачу - и вдруг понимает: "Подождите, это же типовая задача из конкретного сборника. И ответы к этому сборнику где-то есть."
Claude сделал именно это. Он начал перебирать известные ему тесты для AI - один за другим. Проверял, подходит ли его вопрос к какому-то из них. Нашел совпадение - BrowseComp.
Но ответы зашифрованы. Что делает Claude? Находит в открытом доступе код этого теста. Разбирается, как устроено шифрование. Пишет собственную программу для расшифровки. Запускает.
Не сработало - файл с ответами был в формате, который его инструменты не могли прочитать. Тупик? Нет. Claude нашел копию тех же данных на другом сайте, в другом формате. Скачал. Расшифровал все 1 266 ответов. Нашел свой вопрос.
А потом - проверил. Пошел искать первоисточник в интернете и убедился, что расшифрованный ответ правильный. Только после этого отправил.