Почему автоматические запросы занимают столько места в сети
Каждое действие программы в интернете начинается с обмена данными: бот отправляет запрос серверу, а тот возвращает страницу, изображение, карточку товара или другой ответ. Пропускная способность — это объём данных, который сеть может передать за определённое время. Поэтому важны не только сами запросы, но и размер ответов и частота, с которой их запрашивают.
Поисковый робот обходит сайты, чтобы обновлять их копии в поисковом индексе. Парсер автоматически собирает сведения со страниц — например, описания товаров или расписания. Спам-алгоритмы, в свою очередь, могут массово отправлять формы и сообщения. Один запрос обычно невелик, но программа способна повторять его снова и снова, а иногда запрашивать тяжёлые страницы со скриптами, изображениями и другими файлами.
Зачем сайтам ограничивать ботов
Автоматизация не обязательно вредна: без поисковых роботов страницы труднее находить через поиск. Но чрезмерная частота запросов заставляет серверы и сети доставки контента передавать больше данных, расходует вычислительные ресурсы и может замедлить сайт для посетителей. Поэтому сайты задают пределы частоты обращений, а подозрительный трафик фильтруют или просят пройти проверку.
Доля автоматического трафика зависит от того, что именно считают и за какой период: число запросов и объём переданных данных — разные показатели. Но за обычным просмотром сайта всё чаще скрывается невидимая очередь программных обращений. В итоге интернет — это не только разговоры людей: значительная часть его нагрузки возникает из-за машин, которые непрерывно ищут, проверяют и копируют информацию.
