新手必看,robots.txt书写秘籍

2017年10月30日08:54:28 发表评论 72 views

昨天的文章《robots.txt文件问题汇总及如何解决?》中我们简单的把一些常见的robots.txt问题,凡哥今天觉得还是有点小细节要重点告诉大家.避免在书写robots.txt大错误没有小错误不断.并且找不到错误的地方.

robots.txt语法

一、基础知识

User-agent 定义协议的搜索引擎。

Disallow 不允许抓取

Allow 允许抓取

* 通配符,代表所有

$ 结束符(使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。

?动态路径

二、重点注意

1、每一行的第一个英文字母必须大写:User-agent、Disallow、Allow(很多同学犯这个错误)

2、是英文状态下的

3、后面有个英文状态下的空格

4、也是英文状态下的

哪些情况下需要使用robots.txt

1、统一路径

在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面(一个动态路径一个伪静态),会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。

2、标签路径

如果我们网站有标签页面,这个标签页面就是中文的链接,中文链接百度不认识,所以要屏蔽。如果你觉得你的标题tag很重要就给他做个英文别名(wp支持tag别名,须手动修改)。

3、搜索路径

如果我们网站中有搜索框,那么我们就要把搜索结果页面给屏蔽掉。目的就是为了防止有人使用这个搜索框捣乱。

4、js文件

对于js文件或者其他无意义的文件,我们都可以屏蔽掉。

注意事项

User-agent: *

Disallow: / 屏蔽全站

不要随便屏蔽整站

不要随便屏蔽整站

不要随便屏蔽整站

一些新手同学在做网站的时候,没有规划,且网站不能一下子做好,经常做个半截,使用wp搭建好就把默认不允许搜索引擎抓取那个按钮勾选了(快去检查下你的站是否勾选了)。如果你真的这么做了,那么我要恭喜你,蜘蛛很有可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。凡哥建议你在域名备案时期内就应该把网站整体规划好。第一个把链接统一化,然后着手写robots.txt文件把你网站不想被搜索引擎蜘蛛抓取的页面做个合理的优化。

robots.txt编写要点

robots.txt的生效时间

robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。

(本文编辑:凡哥SEO)

凡哥

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: