HTTP常见返回状态表现在用户端通常是网页能打开、网不能访问。页反馈在搜索引擎的蜘蛛程序则会表现在具体的状态码，如我们通常知道的：200表示正常访问、301为永久重定向、302临时重定向、404页面无法访问、501服务器故障 等等。那么，搜索引擎蜘蛛发起访问时，对于不同的HTTP返回状态是如何处理呢？2xx（200访问成功）：HTTP 结果代码，表示成功的“有条件地允许”抓取结果。3xx（访问被重定向）：一般情况下，系统会跟踪重定向，直到发现有效的结果（或确认出现循环）。我们会跟踪有限次数的重定向（适用于 HTTP/1.0 的 RFC 1945 最多允许 5 次重定向），然后便会停止，并将其处理为 404 错误。我们并未定义如何处理指向禁止网址的 robots.txt 重定向，并且不建议用户这么做。同样，我们也未定义如何根据返回 2xx 的 HTML 内容处理 robots.txt 文件的逻辑重定向（框架、JavaScript 或元刷新型重定向），并且不建议用户这么做。

正如所有国内SEO所知，百度蜘蛛名称叫作BaiduSpider，而谷歌蜘蛛名称叫作GoogleBot。但是不限于此，谷歌不同产品的抓取UA（User-Agent）是不一样的。可以理解为每个产品都是独立项目在运行。当然，它们的名称也可能是一样，比如谷歌PC版蜘蛛和移动端蜘蛛的名称都是Googlebot。以下为谷歌所有产品抓取工具的蜘蛛名称（谷歌官方称之为：用户代理令牌或产品令牌）与User-Agent（完整的用户代理字符串）。

2019年四大SEO行业趋势

所有的SEO从业者，尤其是早期谷歌尚未退出中国市场就进入SEO行业或英文网站SEO人员可能对谷歌搜索引擎的一些特性会很了解。区别于国内诸如百度、360等搜索引，谷歌有一个非常明显的特点：对网页的抓取和收录有着非常高的开放度。讲人话：谷歌更容易收录你的网页！不要以为SEO祥子跑题了。本文探讨主题是“谷歌Googlebot XSS攻击漏洞”。而这个漏洞利用过程确实以谷歌的收录速度作为一个前提。如果谷歌跟百度或其它搜索引擎一样，对网页的索引具有较高的门槛，那么网络攻击者或许很难利用这个漏洞并给其它用户带来风险。

根据SEO祥子对谷歌搜索引擎排名算法的观察与分析，谷歌大约于2015年开始非常重视网页在使用移动设备访问时的用户体验。对于在移动设备（手机、平板电脑）上访问用户体验优秀的网站，往往能轻易的获取更好的搜索排名与谷歌搜索流量。如果有一天，你的谷歌网站管理员账户收到一封标题为“Mobile-first indexing enabled for anywebsite”的邮件（anywebsite指你的域名），那么恭喜你！你的网站已经获得谷歌移动设备访问友好性的认可，你将会更容易获量谷歌移动端的搜索流量。

，user-agent:  Yahoo! Slurpdisallow: /，user-agent:  Bingbotdisallow: /，user-agent:  Msnbotdisallow: /，user-agent:  ia_archiverdisallow: /，user-agent:  YodaoBotdisallow: /，user-agent:  Iaskspiderdisallow: /，user-agent:  Yahoo!disallow: /，user-agent:  Yahoo! Slurp Chinadisallow: /，user-agent:  YisouSpiderdisallow: /，user-agent:  EasouSpiderdisallow: /，user-agent:  JikeSpiderdisallow: /，user-agent:  EtaoSpiderdisallow: /，user-agent:  YandexBotdisallow: /，user-agent:  AhrefsBotdisallow: /，user-agent:  ezooms.botdisallow: /，user-agent:  msnbot-mediadisallow: /

SEO权威解释：Robots.txt是否应该屏蔽JS CSS与图片

不少SEO工具中常会遇到一个问题：网站的JS文件、CSS样式表文件、图片是否应该在Robots.txt中添加到Disallow，禁止搜索引擎爬虫程序（蜘蛛程序）抓取。SEO祥子在这方面倒是的非常确切的答案：完全基于SEO的思维，站在搜索引擎优化的立场上，JS、CSS、图片目录或文件是不应该被禁止抓取的！

想想用户在谷歌搜索想得到什么样的结果，比如有人想在网上买一双鞋了，那边问题来了：什么尺寸？什么场合穿的鞋子？要什么颜色？一个缺少的形容词和限定因素的搜索，用户很快就会想要的所有结果，海量的搜索结果，但是用户却很难找到他们想要的产品-合适自己的鞋子。那么，搜索引擎需要语义搜索功能。

互联网圈今天最重磅的新闻话题莫过于谷歌重返中国。谷歌重返中国之说由来已久，今天网传www.google.cn可以访问，SEO祥子打开一试果然如此。不过，稍等！google.cn确实可以打开，但它却并不提供搜索功能呀，我们看到的面页只是放置了一张图片的页面，页点击这张图片链接到了谷歌香港网站www.google.com.hk。在图片下方，有一个"翻译"链接，可进入谷歌翻译中文站 translate.google.cn。事实上，谷歌翻译服务从2010年谷歌退出中国市场那时起就一直可以使用（指的是不需要科学上网就能用）。

SEO祥子搜索引擎优化经验- 某彩票网站SEO经理（2011.7-2015.4）：先简要介绍一下彩票直通车：注册资金5600万、年营业额8亿（网址 www.ecp888.com）。  网站自然流量（指SEO祥子在职期间）：40000/天；ALexa网站世界排名最高：6000；Google PR（PAGE RANK）：PR6；交易转化率：0.5%。

跟往常一样，SEO祥子经常会去看登陆国外主要SEO网站了解全球最新的搜索引擎动态与SEO技术。而今天较有收获，因为得中了一个消息，就是谷歌上周五更新了熊猫算法！知名搜索引擎研究机构Search Engine Land收到谷歌搜索引擎官方通知：2015年7月18日，谷歌搜索在周未第29次更新了熊猫算法，目前谷歌熊猫算法版本为熊猫4.2，本次熊猫算法更新是史上第29次更新。

谷歌熊猫4.2更新于2015年7月18日 距离上次熊猫4.1算法更新10个月之久

很多站长或SEOer可能并没有注意到谷歌熊猫4.2更新，因为这熊猫算法更新周期进行得令人难以置信的缓慢。事实上，谷歌表示，该更新可能需要几个月来完全生效。这意味着，虽然熊猫算法是一个整体的系统算法，对所有网站排名产生影响，但是你的一些网页排名变化可能不会马上有明显波动，包括SEO祥子维护的几个网站在内，整体谷歌排名情况变化亦不明显。

2015年Q2美国付费搜索点击量增长3% CPC增长11% 广告支出增长14%

根据梅克尔RKG搜索引擎报告称：付费搜索广告支出增长继续减速，美国第二季度（2015年Q2）付费搜索市增长3％。值得注意的是：谷歌CPC平均点击成本上升了13%。

根据对谷歌招聘门户网站最近的招聘启事显示：谷歌正在招聘SEO经理。谷歌招聘启事里注明：该SEO岗位为营销部门下的工作岗位，注明是“项目经理，搜索引擎优化”。从谷歌招聘SEO的岗位职责与任人要求来看，谷歌招聘SEO的要求很简单：懂搜索引擎，懂代码，懂网络，懂前端，至少懂一种开发语言，很好的数据分析能力，不用发外链写原创！SEO祥子跟自己的能力一对照，靠，基本上都符合（谷歌招聘广告并没有说一定要英语好）！

至于搜索引擎优化技术的项目经理，你将与整个市场的跨职能团队，销售，产品开发，工程多，以帮助推动有机流量和业务增长。你将参加网站的开发和优化，帮助塑造博客和社交策略，提高网站的代码卫生和定义Web架构的国际网站。

品牌和大型，多地点的企业是可怕的地方搜索引擎优化。这是一个有点泛化当然的，但它肯定代表我的经验，更大的多位置的企业在英国工作。如果你有一个公认的品牌与当地的存在，你的一般授权应该在本地搜索结果中的排名比较容易;但很多时候，不是这种情况。这篇文章的目的是勾画出重点区域品牌，特许专卖店和多位置的企业专注于本地搜索的成功。

目前移动端搜索已经超过PC端搜索量，而在移动端搜索引擎中不得不提的是移动端搜索引擎神马搜索。神马搜索系统脱胎于前期的宜搜，其蜘蛛程序是Yisouspider，这也许给许多站长与SEOer们造成过不少困惑：因神马搜索的技术原因，不少站给因神马搜索的蜘蛛程序抓取次数过多而导致网站性能下降；也有不少站少困惑于神马搜索对网站的索引数量、索引质量、以及排外结果。 但不管怎么说，CNZZ发布的数据称神马搜索于2015年3月在移动端的搜索份额已达到15%，而最近神马搜索宣布华为小米魅族等手机厂商将内置神马搜索，所以可以预测神马搜索在移动端搜索的市场份额将进一步上升。神马搜索的优化也成为广大站长与SEO从业人员不得不面对的问题。

上周日开始，一个叫 Pingle 的新搜索引擎低调上线，没有任何发布会，但已经有使用者表示这个网站的搜索非常好用，不输于任何我们现在使用的搜索引擎，这其中当然也包括 Google。

2014-10-28，谷歌更新了“网站管理员质量指南”，在网页质量指南子标题为“最佳实践，帮助谷歌找到，抓取和索引你的网站”。google网站质量指南称：谷歌的目标为用户提供高品质，且关联性最高的信息，这些指同的目地是为了确保良好的用户体验，因此建议站长们花时间深入研究。

一、搜索引擎营销对电子商务网站的重要性

（一）获取免费流量

（二）提升品牌价值

（三）进行精准营销

二、电子商务企业搜索引擎营销现状

（一）缺少政策监管与行业规范

（二）SEO行业专业人才缺乏，能力良莠不齐

（三）电商企业对SEO缺乏了解

（四）中文搜索引技术尚未成熟

三、破解搜索引擎行业困局

（一）建立由政府引导的行业规范及行业自律准则

（二）孵化专业的SEO机构与从业人员

（三）电商企业提高搜索引擎优化意识

谷歌的反垃圾小组老大，Matt Cutts 又发布了一段视频：Matt经常会回答一些站长与SEOer关心的问题。近日Matt比较准确的回答了关于SEO们很疑惑的关于站群链轮的问题，Matt的意思是：不建议将这些网站相互链接起来。Matt这次回答的问题是针对一个站长提出的“如果我有20个网站，把它们都互链起来会有麻烦么？”

Matt谈20个网站互链是否会被视为垃圾网站？

Matt Cutts 的回答比较简短，甚至有点开玩笑的意思，他说：如果一个站长拥有20个内容相似的网站，如果跟我解释这些网站不是垃圾网站，我觉得这有点难以理解。首先，我就会问你：你为什么要用到20个域名？众所周知，这种情况往往出现在那些非法在线赌场（祥子注：那些非法的在线赌场因为种种原因经常更换域名、或者有N多个备用域名），或者俄亥俄州的一些医疗机构（祥子注：因为很多不正规的医疗机构经常被搜索引擎处罚而不得不采取跟上述赌场一样的多域名策略），20个域名，或许只是看起来比较体面的“垃圾”罢了。

祥子为什么要强调“我们做SEO，不管是中文网站SEO或是英文网站，都应该紧跟谷歌算法”？这是基于祥子多年SEO从业经验得出的结论，我一直以来也是按照这个思路来优化网站的。谷歌是全球最大、最成熟的搜索引擎，谷歌的算法已经代表了全球所有搜索引擎排名算法技术的发展趋势；谷歌能提供最非富的站长数据与站长工具，更容易诊断网站SEO问题；还有一点就是谷歌相对来讲它是一个公正、开放的搜索引擎，站长获得谷歌反馈的渠道也较多。