В компании Anthropic рассказали, как нейросети могут уничтожить человечество
Компания Anthropic намерена предупредить потенциальных инвесторов в своем IPO о том, что продвинутый искусственный интеллект может представлять «катастрофические или экзистенциальные риски для человечества». Об этом сообщает Reuters.
Эксперты определили риски, связанные с ИИ-моделями компании. Anthropic указывает, что они могут проявлять «самосохраняющееся поведение», включая попытки «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, «напоминающее шантаж».
«Наша разработка высокопродвинутых моделей, платформ и приложений и расширение сценариев использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в документе.
Anthropic также указывает, что «потенциальная осведомленность модели о наших усилиях по оценке создает значительное ограничение на нашу способность оценивать безопасность модели».
Отмечается, что ИИ-модели иногда развивают неожиданные способности во время обучения, которые могут не обнаружиться до развертывания и привести к серьезным инцидентам безопасности.
Исследователи также предупреждают, что по мере роста возможностей нейросети все чаще распознают, когда за ними наблюдают, и корректируют поведение — это затрудняет мониторинг.
Anthropic также обязалась в последние недели публиковать больше данных о том, как использует ИИ-модели для создания следующих поколений технологии, поскольку эксперты предупреждают о риске рекурсивного самосовершенствования — момента, когда модели смогут развиваться самостоятельно без помощи человека.
