Один guardrail — не защита: Defense-in-Depth и интерпретируемость для агентных систем

Универсального решения для защиты ИИ-агентов нет, так как современные модели математически не разделяют инструкции и данные в контексте.

В своём докладе Данил представит концепцию Defense-in-Depth, которая выстраивает цепочку защитных фильтров на каждом этапе работы системы. Мы детально разберём необходимость строгой валидации источников данных. Особое внимание будет уделено главной поверхности атак — вызовам инструментов, где критически важны песочницы и ограничение прав.

Данил поделится методами формализации целей агента для предотвращения их подмены, а также правилами внедрения контроля человеком на критических шагах. Кроме того, мы рассмотрим специфику угроз в мультиагентных средах и то, как утечка системных промптов помогает хакерам проектировать новые атаки. В заключение мы обсудим использование интерпретируемого ИИ (XAI) и цепочек рассуждений для мониторинга аномалий и расследования инцидентов.

После посещения доклада вы уйдёте с практической архитектурой для создания по-настоящему устойчивых и безопасных систем на базе ИИ.