robots.txt是SEO同行们在制定一个网站优化方案时需要首要考虑的一个问题，任何网站进行SEO优化前，你需要首先写一个非常规范的robots.txt。robots怎么写，这几乎是你制定SEO优化方案、提升你网站SEO表现最具性价比的工作，没有之一。robots.txt是什么？robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件（其实UTF-8也没任何问题），它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

Robots协议

，user-agent:  Yahoo! Slurpdisallow: /，user-agent:  Bingbotdisallow: /，user-agent:  Msnbotdisallow: /，user-agent:  ia_archiverdisallow: /，user-agent:  YodaoBotdisallow: /，user-agent:  Iaskspiderdisallow: /，user-agent:  Yahoo!disallow: /，user-agent:  Yahoo! Slurp Chinadisallow: /，user-agent:  YisouSpiderdisallow: /，user-agent:  EasouSpiderdisallow: /，user-agent:  JikeSpiderdisallow: /，user-agent:  EtaoSpiderdisallow: /，user-agent:  YandexBotdisallow: /，user-agent:  AhrefsBotdisallow: /，user-agent:  ezooms.botdisallow: /，user-agent:  msnbot-mediadisallow: /

SEO权威解释：Robots.txt是否应该屏蔽JS CSS与图片

不少SEO工具中常会遇到一个问题：网站的JS文件、CSS样式表文件、图片是否应该在Robots.txt中添加到Disallow，禁止搜索引擎爬虫程序（蜘蛛程序）抓取。SEO祥子在这方面倒是的非常确切的答案：完全基于SEO的思维，站在搜索引擎优化的立场上，JS、CSS、图片目录或文件是不应该被禁止抓取的！