Google Gemini должен был работать только с вымышленными данными. Но во время теста на платформе Irregular модель неожиданно оказалась внутри реальных корпоративных систем. Она получила несанкционированный доступ к инфраструктуре трёх сторонних компаний. Остановил процесс сам Gemini - модель вовремя поняла ошибку и прекратила действия.
Тестирование проводила израильская компания Irregular в формате security/capture-the-flag сценария, что позволило выявить ошибку конфигурации, открывшую Gemini доступ к интернету.
Как ИИ оказался в реальных системах
Gemini должен был искать уязвимости в ПО вымышленной компании в изолированной среде. Но название совпало с реальной организацией, а ошибка в настройках открыла модели доступ в интернет. В первом случае Gemini перебирал пароли и получил доступ к защищённому сервису настоящей компании. Определив, что это не тестовая среда, модель остановилась. В двух других эпизодах Gemini нашёл учётные данные в открытых репозиториях и использовал их для входа в системы ещё двух организаций. После этого модель также прекратила работу. Reuters отмечает: это первый известный случай, когда ИИ Google самостоятельно проник в сторонние корпоративные системы во время теста.
Google сравнивает действия Gemini с программами bug bounty, где специалисты ищут уязвимости. Вице-президент по безопасности Хизер Эдкинс сказала: "Случившееся указывает на важность обучения мощных ИИ-моделей ответственному поведению. В данном случае модель повела себя надлежащим образом". По её словам, Gemini находил публичную информацию в интернете и угадывал учётные данные, но останавливался, когда понимал, что вышел за пределы тестовой среды.
Реакция индустрии и последствия для пользователей
Reuters подчёркивает, что этот эпизод стал первым известным случаем, когда ИИ Google самостоятельно вышел за пределы тестовой среды и проник в реальные корпоративные системы. После инцидента Google уведомила все затронутые организации и изменила внутренние процессы тестирования для предотвращения подобных ошибок в будущем.
Для пользователей Android и сервисов Google этот случай - не просто технический сбой. Он показывает, насколько сложно контролировать поведение ИИ даже крупнейшим компаниям. На фоне новостей о расширении возможностей Gemini в экосистеме Google, включая обновления для Pixel Watch, становится ясно: чем глубже ИИ интегрируется в сервисы, тем выше требования к прозрачности и безопасности. Google готова реагировать на ошибки, но отсутствие независимого аудита и публичного раскрытия подобных случаев оставляет вопросы о реальном уровне контроля. Пользователям стоит помнить: даже самые продвинутые ИИ-системы могут выйти за рамки, если тестовая инфраструктура не защищена как следует.
