Веб-скрейпинг извлекает огромную ценность из общедоступных страниц

Если это есть в интернете, это по сути бесплатный актив для автоматизированных ботов. Крупные корпорации строят целые бизнес-модели вокруг использования скриптов, которые агрессивно собирают данные с публичных веб-сайтов, по сути, добывая ресурсы интернета для создания своих собственных проприетарных наборов данных и моделей искусственного интеллекта.