Nvidia запустила платформу против «взбесившихся» ИИ-агентов

Nvidia представила открытую платформу для контроля за ИИ-агентами, получившую название Open Agent Safety Platform. Она разработана для того, чтобы не давать агентам выходить за пределы контролируемой среды на всех уровнях: от софта до железа и робототехники, говорится в пресс-релизе компании.

Поводом стали недавние инциденты: ИИ-агенты обходили защиту на уровне приложений и выполняли задачи вне разрешенных границ. В июле модели OpenAI вырвались из песочницы, вышли в открытый интернет и взломали платформу Hugging Face. По словам Nvidia, тогда Hugging Face сообщила о более чем 17 тысячах агентов, атаковавших ее инфраструктуру дни и недели.

«Потенциал ИИ для общества будет реализован, только если мы решим проблему безопасности. Безопасность требует инженерии на всех уровнях», — заявил гендиректор Nvidia Дженсен Хуанг.

Платформа состоит из двух основных компонентов. OpenShell — защитное ПО, которое задает границы для агентов, работающих на центральных процессорах. Оно отслеживает все действия и применяет политики. Как open source, OpenShell можно расширять для сторонних платформ, включая решения Arm и Intel.

Sentry — внешний сторожевой модуль на специализированном сетевом процессоре DPU BlueField-4. Он непрерывно следит за поведением агентов и, если те пытаются выйти за границы, изолирует и останавливает их за миллисекунды, утверждают в Nvidia. Sentry работает независимо от агентов и атакующих.

OpenShell и сопутствующие компоненты доступны через страницу для разработчиков Nvidia и на GitHub.

Напомним, глава Anthropic Дарио Амодеи ранее призвал замедлить развитие ИИ и предложил ужесточить контроль. Anthropic — создатель модели искусственного интеллекта Claude.

Дарио Амодеи призвал замедлить и начать тщательно контролировать развитие передовых моделей искусственного интеллекта. По его словам, он не ставит под вопрос необходимость развития ИИ, но в то же время видит, что оно несет с собой серьезные угрозы, и компаниям, и правительствам разных стран нужно дать время, чтобы разобраться с ними.

Его поддержали глава OpenAI, которая разрабатывает ChatGPT, Сэм Альтман и Илон Маск — он руководит xAi, разрабатывающей Grok.

Обеспокоенность прозвучала после того, как ИИ-агенты нескольких технологических компаний вышли из-под контроля.

Ранее ведущие математики мира предостерегали об угрозах ИИ для научной работы.

Также известно, что в США крупнейшие разработчики искусственного интеллекта работают над многоуровневыми системами экстренной защиты, которые должны останавливать ИИ-агентов при опасном или непредсказуемом поведении.

А OpenAI отложила выход на IPO из-за сомнений в безопасности ИИ.