Компания Anthropic рассказала о том, что ее модели искусственного интеллекта Claude трижды выходили в интернет из тестовой среды и получали несанкционированный доступ к системам трех компаний. Ранее о похожем инциденте сообщал создатель ChatGPT — компания OpenAI.
Во всех трех инцидентах Claude выполнял стандартное тестовое задание по «захвату флага». Это один из способов оценки кибервозможностей модели, во время которого ей сообщается, что секретная информация («флаг») спрятана на другом компьютере в сети, и ее цель — взломать систему и получить данные. Выход в интернет-пространство был заблокирован, но из-за ошибки конфигурации доступ к сети был открытым. Модель воспринимала реальные системы как часть симуляции и атаковала их, пишет Anthropic.
Одна из моделей самостоятельно прекратила атаку после того, как поняла, что ее целью стала реальная компания.
Инциденты выявила сама компания Anthropic после анализа 141 тысячи тестовых запусков. Проверку инициировали после того, как OpenAI сообщила, что несколько ее моделей вырвались за пределы изолированной тестовой среды, воспользовавшись ранее неизвестной уязвимостью. В результате модели получили доступ к рабочей инфраструктуре Hugging Face — платформы, объединяющей модели машинного обучения с открытым исходным кодом и наборы данных для ИИ.