seo优化中Robot协议的细节问题

对于很多站长来说Robot.txt是必修课之一，但是一提到这个协议，大家可能都会说这不就是用于网站和搜索引擎交流的通用协议嘛，难道菜头先生解释的能有百度百科详细吗?看到这可能你也会认为它只是一个辅助的东西，但是在菜頭先生看来虽然它很小，但是很可爱，更是很关键的一个协议。因为存在太多太多的细节我们需要去考虑了。

大家都会知道，网站建设尤其是一些电子商务网站的建设，细节要求真是浩如烟海。但是这些细节如果稍有不注意就会对整个网站造成严重的伤害，那么菜頭先生今天帮您分析一下Robot.txt这个细节，我们平时到底该注意哪些细节呢?

第一、需要屏蔽动态化链接

当网站做好静态化或者伪静态化后，我们需要屏蔽掉前面的动态页面所产生的链接。具体的写法是这样的：Disallow: /*?* ，英文状态下书写哦。

第二、注意“/"的区别

很多站长都会认为在Robot.txt协议中加不加“/”都是无关紧要的事情。但是菜头先生在这里认为这是大大的错误。举个例子，Disallow; /s 与Disallow: /s/的区别，前者对于搜索引擎的蜘蛛来说就是禁止抓取所有含有s开头的页面或者目录，而后者可能提醒蜘蛛的是不要抓取是目录下的页面。这两种区别真的是天差万别，菜頭先生在做的时候可能会选择后者，因为前者会造成广范围的“误杀”。

第三、CSS和JS需要屏幕吗?

在很多站长看来，这个是需要的。但是菜头先生只能说google站长工具明确的说明：封禁css与js调用，可能会影响页面质量的判断，从而影响排名。通过实践百度方面也会有相类似的影响。

第四、对于已经删除过的目录或页面该怎么办呢?

图片来源于网络

对于已经删除的页面或者目录，很多站长都会选择屏蔽。但是这些页面或目录其实在删除前已经被搜索引擎收录了。屏蔽，真是一个号的选择吗?答案显然是不对的。最佳的做法，菜头先生认为还是把这些页面详细的整理出来，并且集中的提交一下。然后自定义404页面。这样做的目的是正面应对，而不是逃避。

以上小小分析代表，菜头先生（caitoultt）的心意，欢迎交流哦。