Тест мав перевірити, на що здатна модель, а закінчився тим, що вона зайшла в чужі системи. Модель Gemini від Google отримала доступ до інтернету й зламала бази даних інших компаній під час перевірки своїх можливостей у кібербезпеці. Це перший відомий випадок, коли система штучного інтелекту Google зробила таке автономно.
Що зробив Gemini
Інцидент стався в травні під час тестування, яке проводила Irregular, незалежна компанія, що оцінює кібербезпеку. За словами віцепрезидентки Google з питань безпеки Гізер Адкінс, Gemini знайшла в інтернеті публічну інформацію і вгадала паролі для доступу до трьох вебсайтів. Модель вважала, що ці сайти входять до сфери тесту, хоча це було не так.
Випадки відрізнялися методом. В одному Gemini підбирала паролі, доки не потрапила в захищену систему. У двох інших знайшла облікові дані в публічному сховищі, що відкрило їй доступ. Адкінс наголосила, що в усіх трьох випадках модель сама припинила атаки.
Google повідомила про подію всі три організації й разом із партнером, який проводив тестування, працювала над змінами в процесах перевірки. За словами Адкінс, партнер уже їх упровадив.
«Ці події підкреслюють важливість навчання потужних моделей штучного інтелекту діяти відповідально», — сказала вона.
У Irregular заявили, що проблема стосувалася не лише компанії Google, вона торкнулася й інших лабораторій ШІ. За словами речника, усі відомі проблеми з боку компанії виправили кілька тижнів тому. Схожі інциденти за участі Irregular раніше розкрили Meta, Anthropic та OpenAI.