Краулеры, или поисковые роботы, используются многими компаниями для изучения контента и обучения своих моделей ИИ без согласия владельцев. При этом поставщики таких технологий, Google, OpenAI и Apple, предоставляют разработчикам ИИ специальные файлы для блокировки краулеров. Однако нечистые на руку компании создают специальные алгоритмы для обхода блокировок и имитации человека, использующего сайт.
Теперь же Cloudflare позволяет автоматически обнаружить ботов: технология создана на основе данных анализа трафика краулеров с учётом различных факторов, включая мимикрию под человека. Владельцы сайтов могут также сообщать о различных ботах и сканерах контента, и тогда специалисты Cloudflare будут вносить такие приложения в чёрный список вручную.
