开发者社区> 问答> 正文

[@talishboy][?20]Java Web项目如何防爬虫?

Java Web项目如何防爬虫?

展开
收起
黄二刀 2018-12-16 19:28:05 2661 0
1 条回答
写回答
取消 提交回答
  • 1.基于程序本身去防止爬取:作为爬虫程序,爬取行为是对页面的源文件爬取,如爬取静态页面的html代码,可以用jquery去模仿写html,这种方法伪装的页面就很难被爬取了,不过这种方法对程序员的要求很高。

    2.基于iptables和shell脚本:可以对nginx的access.log进行策略定义,例如定义在1分钟内并发连接数超过30个ip为非法,如ip不在白名单内,则加入iptables策略封掉,当然这种的缺点是会有“误伤”,策略细粒度越小就会有更多的“误伤”,细粒度大就会使效果变差,另外还有类似的第三方工具fail2ban,利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址(例如网易、有道)的爬取行为拒绝也很难准确做到,因为你无法准确知道这些特定的爬虫ip地址(例如网易、有道),以下是我的定位方式,不过发现由于ip库不准确造成错误的屏蔽。注意:建议不要用封ip条目的方式,iptables列表长度是65535时就会封满,服务器也就会死机。
    3.使用robots.txt文件:例如阻止所有的爬虫爬取,但是这种效果不是很明显。

    4.使用nginx的自带功能:通过对httpuseragent阻塞来实现,包括GET/POST方式的请求

    2019-07-17 23:22:22
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Web应用系统性能优化 立即下载
高性能Web架构之缓存体系 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载


http://www.vxiaotou.com