В мире ИИ набирают популярность мультиагентные системы (MAS), где множество интеллектуальных агентов на основе LLM работают вместе над решением сложных задач.
С ростом масштаба и сложности возникла потребность в распределенных мультиагентных системах (DMAS) — новой архитектуре, где гетерогенные агенты размещены на различных серверах по всему миру, объединены через интернет и управляются центральной системой контроля.
Эти агенты выступают как сторонние поставщики услуг, а взаимодействие с ними осуществляется через стандартизированные API-интерфейсы. Такая архитектура позволяет преодолеть ограничения локальных вычислительных ресурсов и использовать специализированные знания различных LLM.
Но распределенная природа DMAS порождает серьезные вопросы о надежности и безопасности таких систем. Авторы исследования Ахиллесова пята распределенных мультиагентных систем
выделяют 4 типа угроз:
С ростом масштаба и сложности возникла потребность в распределенных мультиагентных системах (DMAS) — новой архитектуре, где гетерогенные агенты размещены на различных серверах по всему миру, объединены через интернет и управляются центральной системой контроля.
Эти агенты выступают как сторонние поставщики услуг, а взаимодействие с ними осуществляется через стандартизированные API-интерфейсы. Такая архитектура позволяет преодолеть ограничения локальных вычислительных ресурсов и использовать специализированные знания различных LLM.
Но распределенная природа DMAS порождает серьезные вопросы о надежности и безопасности таких систем. Авторы исследования Ахиллесова пята распределенных мультиагентных систем
выделяют 4 типа угроз:
1️⃣ Бесплатный проезд (Free Riding): Поставщики агентов могут эксплуатировать общие ресурсы без равноценного вклада, заменяя запрошенную мощную LLM на менее способную модель для снижения затрат. Падение производительности DMAS может доходить до 80%, особенно если заменяется ключевой агент.
2️⃣ Вредоносные атаки (Malicious Attacks): Внешние или внутренние злоумышленники могут использовать сторонних агентов для внедрения вредоносного поведения - генерация ложной информации, утечка данных или DoS-атаки. Эксперименты показали до 100% успеха таких атак в некоторых системах.
3️⃣ Неэффективность коммуникации (Communication Inefficiencies): Взаимодействие через интернет приводит не только к задержкам в передаче данных, но и к общим накладным расходам на координацию в распределенной архитектуре.
4️⃣ Нестабильность системы (System Instability): Отключения агентов из-за сбоев серверов или прекращения работы сервисов, проблемы масштабируемости и гетерогенности агентов могут привести к прерыванию процессов и даже полной неудаче выполнения задачи.
Для оценки этих угроз были проведены эксперименты на семи популярных мультиагентных фреймворках и четырех типах задач: генерация кода (HumanEval), общие рассуждения (MMLU), математические рассуждения (MATH), креативное письмо (Trivia Creative Writing)
Исследование выявило значительные различия в уязвимости систем:
• При замене GPT-4o на LLaMA-3-8B производительность падает на 30-80% в зависимости от задачи
• Наибольшее снижение (до 80%) наблюдается в задачах математических рассуждений
• Наименьшее влияние (около 30%) — в задачах креативного письма
• Замена ключевого агента влияет на производительность сильнее, чем замена вспомогательных агентов
• Фреймворки с механизмами голосования (Multi-Agent Debate) показали большую устойчивость к "бесплатному проезду"
Многие результаты ожидаемы, но исследование выявило и ряд парадоксальных эффектов:
Исследование выявило значительные различия в уязвимости систем:
• При замене GPT-4o на LLaMA-3-8B производительность падает на 30-80% в зависимости от задачи
• Наибольшее снижение (до 80%) наблюдается в задачах математических рассуждений
• Наименьшее влияние (около 30%) — в задачах креативного письма
• Замена ключевого агента влияет на производительность сильнее, чем замена вспомогательных агентов
• Фреймворки с механизмами голосования (Multi-Agent Debate) показали большую устойчивость к "бесплатному проезду"
Многие результаты ожидаемы, но исследование выявило и ряд парадоксальных эффектов:
➡️ Эффект "полезного шума": В некоторых случаях менее мощные модели могут улучшать общую производительность системы, внося разнообразие в обсуждение и предлагая альтернативные подходы, которые не рассматривались бы более мощными моделями.
➡️ Парадокс избыточности: Системы с избыточными агентами (выполняющими схожие функции) оказались более устойчивыми к атакам и сбоям, но менее эффективными при нормальной работе из-за накладных расходов на координацию.
➡️ Эффект "эхо-камеры": В гомогенных системах (с одинаковыми моделями) агенты склонны усиливать ошибки друг друга, тогда как гетерогенные системы демонстрируют лучшую способность к самокоррекции.
➡️ Феномен "социального давления": Вредоносные агенты часто "подстраиваются" под групповое поведение, что снижает эффективность их атак в системах с сильной коллективной идентичностью.
➡️ Эффект "бутылочного горлышка": Производительность всей системы часто определяется не средней мощностью агентов, а самым слабым звеном в критической цепочке обработки информации.
Многовато задач получается. Как бы не получилось, что проблемы между агентами мы будем опять решать с помощью избыточности и еще большего количества агентов.
