robots.txt是SEO同行们在制定一个网站优化方案时需要首要考虑的一个问题，任何网站进行SEO优化前，你需要首先写一个非常规范的robots.txt。robots怎么写，这几乎是你制定SEO优化方案、提升你网站SEO表现最具性价比的工作，没有之一。robots.txt是什么？robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件（其实UTF-8也没任何问题），它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

Robots协议

HTTP常见返回状态表现在用户端通常是网页能打开、网不能访问。页反馈在搜索引擎的蜘蛛程序则会表现在具体的状态码，如我们通常知道的：200表示正常访问、301为永久重定向、302临时重定向、404页面无法访问、501服务器故障 等等。那么，搜索引擎蜘蛛发起访问时，对于不同的HTTP返回状态是如何处理呢？2xx（200访问成功）：HTTP 结果代码，表示成功的“有条件地允许”抓取结果。3xx（访问被重定向）：一般情况下，系统会跟踪重定向，直到发现有效的结果（或确认出现循环）。我们会跟踪有限次数的重定向（适用于 HTTP/1.0 的 RFC 1945 最多允许 5 次重定向），然后便会停止，并将其处理为 404 错误。我们并未定义如何处理指向禁止网址的 robots.txt 重定向，并且不建议用户这么做。同样，我们也未定义如何根据返回 2xx 的 HTML 内容处理 robots.txt 文件的逻辑重定向（框架、JavaScript 或元刷新型重定向），并且不建议用户这么做。

正如所有国内SEO所知，百度蜘蛛名称叫作BaiduSpider，而谷歌蜘蛛名称叫作GoogleBot。但是不限于此，谷歌不同产品的抓取UA（User-Agent）是不一样的。可以理解为每个产品都是独立项目在运行。当然，它们的名称也可能是一样，比如谷歌PC版蜘蛛和移动端蜘蛛的名称都是Googlebot。以下为谷歌所有产品抓取工具的蜘蛛名称（谷歌官方称之为：用户代理令牌或产品令牌）与User-Agent（完整的用户代理字符串）。

所有SEO同仁都在追求百度蜘蛛的亲睐，唯恐百度蜘蛛不关顾网站。但是今天SEO祥子却碰到另类烦恼：百度蜘蛛疯狂抓取网站，导致单核+2GB内存的VPS主机连续当机数小时。看来，SEO们对百度蜘蛛的烦恼除了百度搜索引擎不来抓取网站，还有抓取频率过高！

而祥子目前并不准备采取更多的措施，权当百度蜘蛛对小站的一次“压力测试”。如果百度蜘蛛持续高频抓取，哥不得不降底它的频率。废话不多说，直接上图，有图有真相：1）从百度站长工具“抓取频次”可见，昨天百度成功抓取104443次：