Инженер столкнулся с проблемами из-за ботов на сайте Brain Baking

Инженер, создавший новый веб-ресурс Brain Baking на ограниченном сервере, столкнулся с серьезными проблемами, вызванными ботами, занимающимися парсингом. При попытке зайти на сайт он обнаружил значительное замедление работы, что заставило его проверить состояние системы. Как выяснилось, экземпляр Gitea и Fail2ban перегружали процессор. Закрытие Gitea не решило проблему, так как журналы доступа Nginx были переполнены запросами от различных IP-адресов. Пользовательский агент, используемый ботами, не распознавался как вредоносный.

Инженер временно заблокировал подозрительные IP, однако основной диапазон атакующих остался прежним. С помощью сервиса ipinfo.io он идентифицировал источник угрозы и заблокировал весь диапазон адресов. Кроме того, он заметил рост трафика с Referer из странных источников, таких как bioware.com и mcdonalds.com. Инженер задумался о переносе Gitea на более защищенный хостинг, а также о применении более серьезных мер против ботов, таких как инструмент Anubis. Другие разработчики также создают решения для борьбы с ботами, например, программу Nepenthes для заманивания веб-сканеров в ловушку.