Проблема нагрузки на серверы от ИИ-краулеров

Некоторые владельцы веб-ресурсов выражают недовольство из-за значительного числа ботов, создающих нагрузку на серверы, особенно от краулеров, связанных с искусственным интеллектом. Согласно аналитическому отчету Fastly, такие боты могут генерировать до 39 тысяч запросов в минуту. В 2025 году нагрузка от скраперов увеличилась на 87%, при этом основная часть трафика поступает от RAG-скраперов. ИИ-краулеры составляют около 80% трафика интернет-ботов, в то время как 20% приходится на фетчеры, которые вызывают серьезные нагрузки, как в случае с ClaudeBot от Anthropic. Краулер Facebook, который меняет user-agent, также вызывает много неудобств. Чтобы справиться с этой проблемой, владельцы сайтов применяют различные методы защиты, включая капчи и фильтрацию по user-agent. Однако некоторые используют более креативные решения, такие как zip-бомбы, которые могут истощать оперативную память у краулеров. Несмотря на эти меры, деструктивные действия ИИ-краулеров, игнорирующих директивы robots.txt, приводят владельцев сайтов к необходимости применять жесткие меры защиты.