去年10月份的时候做了一个女装方面的网站，因为收入方面不太如意，于是决定废弃用来做个博客写日记，顺便做个试验，看看各主流搜索引擎的表现。本文主要目的是想看一下一直存在争议的robots协议在各大搜索引擎中的份量，权当娱乐。具体操作过程是这样的，改版当天开始在robots.txt添加如下语句：

　　User-agent: *

　　Disallow: /

　　这次改版并未更换程序，Asp语言的zblog程序，只是更换了一套模板，首页、分类、文章页面的布局有较大的差异，新建了几个新分类，然后删除服务器上的静态文章目录。之后是保持每天一篇纯原创的频率更新内容，历经15天，通过site指令查询得到各搜索引擎的表现，如下：

　　1、Google搜索引擎

　　以下是我观察得到的一些信息：

　　内页收录变化特别慢，3000多的收录，还有1600多条。首页地址也还在，但是不显示description信息，只提示“由于此网站的 robots.txt，系统未提供关于该结果的说明”。没有收录新内容。

　　2、百度搜索引擎

　　以下是我观察得到的一些信息：

　　百度方面反应也比较慢。原先收录了40页，现在还有10页，首页已经没了，快照没了。也没有收录新内容。

　　3、360综合搜索

　　以下是我观察得到的一些信息：

　　内页无什么变化，收录一直保持在500多页，只是首页快照更新及时，保持隔天快照，没有新内容收录。

　　4、搜狗搜索

　　以下是我观察得到的一些信息：

　　内页收录已经全部删除，只余一个首页。快照更新缓慢，且标题不更新。不收录内页。

　　5、soso搜索

　　以下是我观察得到的一些信息：

　　收录没有什么大的变化，首页快照更新及时，并少量收录内页。综合以上信息来看，各搜索引擎的表现都不大相同。

　　谷歌、百度两大巨头虽然说遵守robots.txt协议，但是在删除已有收录内容方面还是比较慢，可以说是迟钝。新内容是倒是按着robots协议不再收录。360综合搜索以及soso搜索则有点不鸟什么robots协议，旧的收录没删除，快照还是照样更新及时，偶尔还收录点新内容。搜狗居然反应强烈，删除了内页，停了快照，似乎最遵守robots.txt协议，有点搞笑。

　　本文由[有货街]原创，地址：。欢迎交流