Post #2609

Cloudflare обвинила ИИ-поисковик Perplexity в скрытом сканировании сайтов, которые прямо запретили доступ через robots.txt и файрволы. Компания утверждает, что Perplexity маскируется под обычные браузеры, чтобы обходить блокировки. Cloudflare провела эксперимент — создала скрытые домены и заблокировала всех ботов. Несмотря на запреты, Perplexity продолжила предоставлять детальную информацию об этих сайтах. Perplexity использует двухэтапную схему обхода: сначала сканирует официальным ботом, а при блокировке запускает скрытого краулера, который маскируется под Google Chrome и постоянно меняет IP-адреса. В отличие от Perplexity, OpenAI соблюдает правила — её боты честно представляются и прекращают сканирование при блокировке. Cloudflare наблюдала миллионы нарушающих запросов от Perplexity ежедневно. Cloudflare добавила подписи скрытых краулеров Perplexity в свои правила блокировки, доступные всем клиентам бесплатно, и работает над стандартизацией поведения ботов в интернете.