源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

nginx修改配置限制恶意爬虫频率

  • 时间:2020-09-20 11:10 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:nginx修改配置限制恶意爬虫频率
如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。 今天在微博发现@金荣叶 的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。
#全局配置

limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;

#某个server中

limit_req zone=anti_spider burst=30 nodelay;

if ($http_user_agent ~* “xxspider|xxbot”) {

set $anti_spider $http_user_agent;

}
超过设置的限定频率,就会给spider一个503。 [b]总结[/b] 以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部