Стартап у сфері штучного інтелекту Perplexity, за даними звіту компанії Cloudflare, нібито обходить обмеження, які покликані запобігти доступу його веб-сканерам до певних веб-сайтів. У звіті йдеться про те, що коли Perplexity стикається з блокуванням, стартап приховує свою ідентичність, намагаючись обійти переваги сайту.
Цей звіт лише посилює занепокоєння щодо збору контенту Perplexity без дозволу, оскільки минулого року компанію було спіймано на вході за платні стіни та ігноруванні файлів robots.txt. Тоді генеральний директор Perplexity Аравінд Шрінівас поклав відповідальність за дану діяльність на сторонні сканери, які використовувались сайтом.
Наразі Cloudflare, один з найбільших постачальників інтернет-архітектури, повідомляє про запити від своїх клієнтів, які стверджують, що боти Perplexity все ще мали доступ до їх веб-сайтів, незважаючи на встановлені переваги у файлах robots.txt та правилах брандмауера веб-застосунків (WAF) для обмеження доступу до ботів стартапу.
Щоб перевірити цю інформацію, Cloudflare створив нові домени з аналогічними обмеженнями для сканерів Perplexity. Вони виявили, що стартап спочатку намагається отримати доступ до сайтів, ідентифікуючи себе іменами своїх сканерів: “PerplexityBot” або “Perplexity-User”.
Проте, якщо сайт має обмеження для штучних інтелект-сканерів, Cloudflare повідомляє, що Perplexity змінює свій унікальний агент — інформацію, яка вказує веб-сайту, який браузер і пристрій використовується, або чи є відвідувач ботом — на “імітатор Google Chrome на macOS.” Cloudflare стверджує, що цей “неконтрольований сканер” використовує “поворотні” IP-адреси, які компанія не вказує у списку IP-адрес, що використовуються її ботами.
Додатково Cloudflare стверджує, що Perplexity змінює свої автономні системи (ASN), номери, які використовуються для ідентифікації груп IP-мереж, що контролюються одним оператором, щоб обійти блокування. “Цю діяльність спостерігали на десятках тисяч доменів і мільйонах запитів на день,” — зазначає Cloudflare.
У коментарі до видання один зі спікерів Perplexity Джессі Двайер назвав звіт Cloudflare “рекламним трюком,” додавши, що “в дописі є багато непорозумінь.” Відтоді Cloudflare виключив Perplexity зі списку перевірених ботів і запровадив засоби для блокування “скритного збору даних” компанії.