Об автономности ИИ-агентов и связанных с этим рисках

В новом выпуске проекта «Высокие технологии для бизнеса» речь пойдет об автономной работе ИИ-агентов и рисках, которые с этим связаны.

Фото: Markus Spiske / unsplash - Источник

Пользователь с привилегиями: кто он и почему может быть потенциально опасен

Не всё чинить сразу: приоритизация уязвимостей ИТ-инфраструктуры

От ручной корреляции данных к сформулированным проблемам ИТ-мониторинга

Одним из ключевых трендов этого года становится автономные ИИ-агенты способные совершать различные действия по поручению пользователя. При этом, согласно опросам Gartner, 53% организаций используют таких агентов автономно лишь для задач с низким риском, опасаясь возможного вреда и неконтролируемых действий со стороны искусственного интеллекта.

Эффективным вариантом решения этой проблемы эксперты считают создание зон ограниченной автономности, задающих чёткие рамки для действий нейросетей. Комментирует директор по продуктам искусственного интеллекта VK Tech Роман Стятюгин:

Директор по продуктам искусственного интеллекта VK Tech Роман СтятюгинТакой подход снижает риски, поскольку делает агента предсказуем и управляем. Ключевым принципом становится формирование ограниченного операционного контура. К каким корпоративным данным у агента есть доступ, какие действия допустимы, а какие нет. На практике это означает ограничение автономности искусственного интеллекта, поскольку у агента нет прав на действия, которые не описаны в инструкции. Например, для агента может быть закрыт произвольный доступ в интернет.
Зато в случае ошибки все последствия ограничены лишь рамками этого контура.

Анализ реальных инцидентов показывает, что почти все они были связаны с избыточными правами агента, отсутствием изоляции среды и неконтролируемыми интеграциями. А в случае применения ограниченного контура, даже если агент ошибается, последствия такой ошибки не выходят за допустимые рамки.

Автор: Андрей Соловьёв

Комментировать

Связь с редакцией

Комментарии