2020-02-16 标签:防止,网站,采集,理论,分析,以及,十条,方法,对策,相同点,a,两者都,需要,直接,抓取,网页,源码,才能有,工作

相同点： a. 两者都需要直接抓取到网页源码才能有效工作， b. 两者单位时间内会多次大量抓取被访问的网站内容; c. 宏观上来讲两者IP都会变动; d. 两者多没耐心的去破解你对网页的一些加密(验证)，比如网页内容通过js文件加密，比如需要输入验证码才能浏览内容，比如需要登录才能访问内容等。 不同