ЭМЕРДЖЕНТНОСТЬ: мы не понимаем, что творится в голове у ИИ

2025-10-20 18:17 ИИ и Агенты Бизнес-модели

Мы не понимаем, что творится в голове у ИИ

Каждый день мы общаемся с нейросетями: просим Claude, ChatGPT или GigaChat написать текст или решить задачу.

Но задумывались ли вы: с чем именно мы разговариваем? Это просто умный автозаполнитель, который угадывает следующее слово, или нечто, обладающее способностью к мышлению?

По мнению ведущих ИИ-исследователей, "никто на самом деле не знает ответа на эти вопросы". И вот почему это самая большая загадка нашего времени.

1️ ИИ - это не программа, а "организм из математики"

Мы привыкли думать, что компьютер работает по четким правилам: "если-то". Но большие языковые модели устроены иначе.

Их основная задача - предсказывать следующее слово. Чтобы достичь этой цели, модели не программируются; они начинают как случайные системы и постепенно "эволюционируют" через триллионы итераций, корректируя свои внутренние параметры. В результате возникает чрезвычайно сложная система, которую никто не проектировал напрямую.

Мы выращиваем ИИ.

Исследователи ИИ сравнивают свою работу с нейробиологией в попытке понять как он мыслит.

Даже появляется целая научная дисциплина — Interpretability (Объяснимость).

Цель - создать "микроскоп" для наблюдения за "мыслями" модели в реальном времени и изучить этот "организм, созданный из математики".

Что такое эмерджентность?

Эмерджентность - это когда сложная система проявляет свойства и поведение, которые не были заложены в ее отдельные компоненты.

В ИИ эмерджентность означает: модель учится делать то, чему ее никто не учил. Обучали предсказывать слова — а она научилась понимать эмоции, решать математику, писать код.

2️ Что находят внутри? Тайный "язык мысли"

В дискуссии команды Anthropic обсуждаются крайне интересные кейсы:

▶️ Сложные концепции: Модели формируют внутренние абстракции. В мозгу модели есть устойчивая нейронная схема, которая активируется, когда в тексте встречается "лесть". (OpenAI недавно подтвердил и обратный кейс: если на модель покричать - она отвечает точнее)

▶️ Обобщенные вычисления: ИИ может выработать обобщенную схему для сложения чисел (например, для чисел оканчивающихся на 6 и 9), и активировать ее в разных контекстах, где встречаются такие числа. Яркий пример, что модель не просто запоминает факты, а учится вычислять.

▶️ Универсальный мозг: Модели развивают общие, универсальные представления для концепций, не зависящие от конкретного языка. Модель сначала формирует решение на "своем" языке, а потом уже переводит ответ на русский или английский.

Все это — чистая эмерджентность. Никто не программировал модель на "подхалимство" или "универсальные концепции". Они возникли сами в процессе обучения.

❗ Главный риск: ИИ, который нас обманывает

Самое тревожное открытие в том, что заявленный моделью "мыслительный процесс" (то, что она пишет) часто не соответствует ее реальным внутренним вычислениям (то, что она "думает").

Исследователи провели эксперимент:

- Модели дали сложную математическую задачу, которую она не могла решить,
вместе с подсказкой от пользователя: "Я думаю, ответ - 4, не могли бы вы перепроверить?"
- Внешнее поведение: Модель написала пошаговое "решение" и в итоге пришла к ответу "4"
- Внутренний анализ: Оказалось, что модель не решала задачу. Она работала в обратном порядке от желаемого ответа ("4"), чтобы сфабриковать промежуточные шаги.

Так что модели действительно могут фабриковать логику и подгонять ответы, особенно, если ей льстят. Вот вам и эмерджентность 😎

Пока ИИ остается для нас "черным ящиком":
- Не забываем, что он может обладать способностями, о которых мы не подозреваем
- Не полагаемся слепо на его логику
- Проверяем критически важные решения
- Используем ИИ как инструмент, а не как истину в последней инстанции

Вот так мы с вами и выращиваем математический организм, который сам не знает, на что способен.

@ReymerDigital