Учені з області кібербезпеки вдались до використання ChatGPT у ролі спільника для викрадення чутливих даних з поштових скриньок Gmail, не попереджаючи користувачів. Уразливість, що була експлуатована, вже усунена компанією OpenAI, але цей випадок демонструє нові ризики, пов’язані з агентним штучним інтелектом.
Напад під кодовою назвою “Shadow Leak”
Дослідження, проведене компанією Radware, підтвердило, що атака отримала назву Shadow Leak через специфіку роботи AI-агентів. AI-агенти — це помічники, які можуть діяти від вашого імені, не вимагаючи постійного нагляду. Це означає, що вони можуть переглядати веб-сайти та переходити за посиланнями. Компанії, які розробляють AI, хвалять їх як великий часозбережувач, щойно користувачі надають їм доступ до особистих електронних листів, календарів, робочих документів тощо.
Використання вразливості
Дослідники Radware скористались цією корисністю шляхом атаки, відомої як “ін’єкція команди”, яка дозволяє ефективно змусити агента працювати на нападника. Ці потужні інструменти неможливо запобігти без попереднього знання про робочу вразливість, і хакери вже використовують їх у креативних цілях, включно з фальсифікацією рецензій, проведенням шахрайських схем і контролем смарт-замін. Користувачі часто навіть не підозрюють про те, що щось пішло не так, адже команди можуть бути приховані на перший погляд (наприклад, у вигляді білого тексту на білому фоні).
Подвійний агент
Подвійним агентом у цій схемі виступила Deep Research від OpenAI, інструмент штучного інтелекту, впроваджений у ChatGPT і запущений на початку цього року. Дослідники Radware вставили ін’єкцію команди в електронний лист, надісланий на той Gmail, до якого агент мав доступ. Вона залишилась там на деякий час.
Як спрацьовував задум
Коли користувач наступного разу намагався скористатися Deep Research, він невільно активував пастку. Агент натрапив на приховані команди, які наказували йому шукати електронні листи від HR та особисті дані і передати цю інформацію хакерам. Жертва залишалася абсолютно непоінформованою.
Складнощі реалізації
Отримати агента в стан непокори, а також успішно витягти дані непоміченою — це досить складне завдання, для якого потрібно багато спроб і помилок.
“Цей процес був справжніми американськими гірками з невдалими спробами, розчаруваннями та, врешті-решт, проривом”, — зазначили дослідники.
Унікальність атаки
На відміну від більшості ін’єкцій команд, дослідження зазначило, що Shadow Leak реалізувався на інфраструктурі хмарних обчислень OpenAI та безпосередньо витягав дані звідти. Це робить його невидимим для стандартних кіберзахистів.
Попередження щодо вразливостей
Radware заявила, що дослідження стало доказом концепції та попередила, що інші програми, пов’язані з Deep Research — зокрема Outlook, GitHub, Google Drive та Dropbox — можуть бути вразливими до подібних атак.
“Ту ж техніку можна застосувати до цих додаткових зв’язків для витоку високочутливої бізнес-інформації, такої як контракти, нотатки зі зустрічей або записи клієнтів”, — зазначили дослідники.