2020-02-16 标签:asp,n,et,c,抓取,页面,信息,方法,介绍,网页,更新,知道,一般,是不,翻新,这也,要求,定期

一：网页更新 我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多长时间需要抓一次该页面，其实这个定期也就是页面缓存时间，在页面的缓存时间内我们再次抓取该网页是没有必要的，反而给人家服务器造成压力。 就比如说我要抓取博客园首页，首先清空页面缓