01 最近定制了一套软件,发现可以查看网站蜘蛛的来源,可是蜘蛛确是五花八门的,很多人都不解.就百度蜘蛛都有很多不同的IP,因为百度在不同的地区有不同的服务器,这些应都是百度的服务器,但是百度有时候可能多次爬取,来的蜘蛛不一样,留下的ip也是不一样的。下面给大家分享一下我的案例这个网站的蜘蛛情况:2013-07-17 16:39:40 GET / 220.181.108.100 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)2013-07-17 16:10:39 GET /outlf04310/644ae103aa7157f.jpg 123.125.71.80 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)2013-07-17 16:06:46 GET /partf04311/photocdn/20130706/Img380877388.jpg 123.125.71.48 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)2013-07-17 16:06:20 GET / 220.181.108.159 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)2013-07-17 15:33:00 GET / 123.125.71.30 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)2013-07-17 15:16:03 GET /outlf04310/f07cba454fb91f8.jpg 220.181.108.142 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)2013-07-17 15:12:23 GET /partf04311/photocdn/20130706/Img380892397.jpg 220.181.108.82 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)2013-07-17 14:59:40 GET / 123.125.71.12 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)2013-07-17 14:26:20 GET / 220.181.108.84 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)2013-07-17 14:22:51 GET /outlf04310/f2b741f0a3f0b3a.jpg 123.125.71.52 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)2013-07-17 14:19:13 GET /partf04311/photocdn/20130706/Img380892844.jpg 220.181.108.75 Baiduspider-image+(+http://www.baidu.com/search/spider.htm)以上是我截取的蜘蛛爬行的一部分时间段的情况,大家可以看到有220.181.108.*这个IP段的蜘蛛,这个IP段基本来说你的网站会天天隔夜快照，绝对错不了的.还有123.125.71.*这个IP段的,是抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。如果你的网站上来了123.125.68.*这个IP段的,而其他的蜘蛛却很少,那么你的网站离K不远了.
