了解百度蜘蛛IP分类,掌握百度蜘蛛抓取规则
相信大家对百度蜘蛛这个词都不陌生吧,记得我在第一次听到百度蜘蛛这个词的时候,是在11年初,那时候百度蜘蛛并没有如今的人性化,那时候的百度蜘蛛抓取释放几乎么有任何规则。但对现在的百度蜘蛛而言,那时候等于是个幼蜘,现在的百度蜘蛛已经兵强马壮,下面我们来了解一下百度蜘蛛的规则吧。
聪明的蜘蛛
百度蜘蛛是什么
百度蜘蛛是百度搜索引擎的一个自动程序,它通过网络来搜集网络上网站的内容,其中包括:文字、图片、视频等,然后进行分析整理出数据库,最终能够在百度搜索引擎中展现您的文字、图片、视频等,之所以取名叫做百度蜘蛛,是因为此程序有类似于蜘蛛的功能,补下天罗地网,能够搜集到许多网络上的信息。
常见的百度蜘蛛IP
当你网站有人访问或者有机器访问,那就一定会出现一个IP,通常情况下,我们的服务器都会记录这些IP信息,下面是网友提供的常见的百度蜘蛛IP。
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访,准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分,是新上线站较多,还有使用过站长工具,或SEO综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP,如是220.181.108段的话,基本来说你的网站会天天隔夜快照,绝对错不了的,我保证。
220.181.108.92 同上98%抓取首页,可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.91属于综合的,主要抓取首页和内页或其他,属于权重IP 段,爬过的文章或首页基本24小时放出来。
220.181.108.75重点抓取更新文章的内页达到90%,8%抓取首页,2%其他。权重IP 段,爬过的文章或首页基本24小时放出来。
220.181.108.86专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.94专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.97专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.80专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
220.181.108.77 专用抓首页IP 权重段,一般返回代码是304 0 0 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.83专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新。
-------------------------------------------------------------------------------------------------------
百度蜘蛛抓取规则
前面说到,百度蜘蛛的人性化,那么百度蜘蛛就一定有自己的抓取规章,当遇到一些不适合抓取或空白页面,那么百度搜索引擎将会直接取消抓取,下面来看看百度是如何抓取我们的页面的。
1、访问robots
当蜘蛛来到你的网站第一眼不看别的,只看robots文件,如果你的robots文件禁止了百度蜘蛛抓取,那么百度蜘蛛会直接离开你的网站,不会对你网站进行抓取。当然如果你的robos文件有网站地图,那么搜索引擎会直接通过robots来抓取你的网站地图文件,更便捷的让蜘蛛知道你的所有需要抓取收录的页面。
2、访问首页
如果你的robots文件没有禁止你网站或者你没有robots文件,那么搜索引擎会第一时间访问你的主页,同时确定你的首选域,对于你网站的url分析。分析完以后,会开始对你网站的首页进行下载抓取,如遇到首页空白或者首页内容不适合搜索引擎的抓取(如:视频、flash、下拉内容过多等),那么很难以让搜索引擎抓取收录。
3、链接引导访问
百度蜘蛛可以更具你首页的链接来对下一个页面进行抓取,比如首页出现导航、文章等,那么蜘蛛就可以根据这些超链接进行抓取,这就是我们的文章需要设置内链的原因。同时百度蜘蛛也可以根据你网站出现的外链来进行抓取站外的网站,这也是我们交换友情链接的主要原因之一。
------------------------------------------------------------------------------------------------------- 百度蜘蛛抓取和收录的关系
很多人抱怨自己的网站几个月没有收录或者是收录量太少,其实大部分的原因都是因为抓取问题,一般的情况下,只要一个网站具备内容,都会有被收录的可能。那么什么样的页面蜘蛛才不会抓取或收录呢。
1、打不开的页面
如果一个页面出现打不开的现象,用户无法访问,百度蜘蛛自然也无法抓取,当百度蜘蛛通过链接来到你的站点,发现无法打开,那自然不会被抓取更别说收录了。
2、空白的页面
空白的页面并不是说404错误页面,而是一些没有内容的页面,这里太多SEOER没有关注到这些空白页面,这种空白页面包括(登陆注册页、无内容的列表页、联系我们、关于我们等)。
3、重复的页面
在百度蜘蛛抓取后,百度蜘蛛会将你的页面进行网络对比,当对比到你的内容与网络上的内容出现的重复读过高,那么搜索引擎将会判断,你的内容为抄袭或转载,这种页面将会列入星火计划之中。
4、被禁止的页面
我们经常会看到一个网站出现nofollow标签,其标签的主要作用是禁止蜘蛛爬取此超链接,如果你的页面被nofollow禁止了,那么搜索引擎将很难抓取到被你禁止的页面。