Post #6160

Команда Cloudflare изобличает не самую белую тактику Perplexity по скрапингу веб-сайтов. Там юзерагент не пишет, что он бот, игнорируется robots.txt, IP-адреса совсем не из сети Perplexity и т.п. Вообще это очень сложный вопрос, что они делают неправильно. Вот например, есть ли разница между "я попросил свой браузер загрузить страницу" и "я попросил чат-бота загрузить страницу"? По сути разница только в отображении — браузер показывает страницу в том виде, как ее задумал разработчик, а чат-бот показывает с этой страницы только то, что хочет пользователь. И судя по всему, именно против этого и борется клаудфлер.