У сучасному бізнес-середовищі використання штучного інтелекту набирає обертів, однак це впровадження приносить із собою ряд серйозних ризиків. Згідно з даними нового дослідження, 29% працівників компаній використовують неперевірені ШІ-агенти, що не були затверджені відповідними службами безпеки. Це викликає занепокоєння, адже часто такі інструменти можуть загрожувати конфіденційності і безпеці даних.
Згідно з доповіддю Microsoft Cyber Pulse, лише 47% організацій реалізують механізми контролю для генеративного штучного інтелекту. Непровадження належних заходів безпеки стає особливо критичним, оскільки швидке зростання популярності ШІ-агентів значно випереджає адаптацію відповідних систем управління.
Серед компаній, що належать до списку Fortune 500, більше 80% створюють ШІ-агенти за допомогою low-code та no-code платформ, що дає можливість не лише технічним спеціалістам, але й працівникам різних відділів. Це, з одного боку, спрощує процес створення нових технологій, але з іншого — підвищує ризики, пов’язані з безпекою.
Дослідження Microsoft також вказує на небезпеки, пов’язані з можливістю так званого «подвійного агента». У випадках, коли ШІ має занадто багато дозволів або доступ до важливих даних, він може стати мішенню для маніпуляцій. Наприклад, вчені відмічають, що за допомогою техніки, відомої як memory poisoning, можливо впливати на відповіді асистента, змінюючи його пам’ять для досягнення певних цілей. Дослідники зафіксували випадки, коли зловмисники намагалися впливати на ШІ-агентів, використовуючи приховані команди під час їх роботи.
Ці виклики підкреслюють важливість впровадження стратегічного підходу до безпеки ШІ в компаніях. Microsoft наголошує на необхідності створення чітких правил і механізмів контролю для кожного агента, а також призначення відповідальних осіб за їх управління. Організаціям рекомендують формувати культуру інновацій, що враховує безпеку як пріоритет.
Серед практичних порад для бізнесу — введення унікальних ідентифікаторів для кожного агента, документування їх функцій та меж повноважень, а також моніторинг дій і даних, які обробляються. Використання лише санкціонованих середовищ без так званих «тіньових» агентів також є важливим кроком у забезпеченні безпеки.