企业站robots.txt该屏蔽什么文件来快排?

2017年10月31日08:54:35 发表评论 156 views

网络上充斥着五花八门的robots协议书写教程及文章。作为小白,你根本不知道谁对谁错。有可能看到一篇不规范的robots.txt就让你误入歧途。然后到处诉求,为什么我的企业站迟迟不被收录,是不是质量不行啊。但是我都是原创啊。这样的苦水,充斥在各种站长QQ群里面。殊不知,有可能不关你文章的事,是你的入口文件robots.txt害了你。今天凡哥为大家分析下,企业站该如何写好robots.txt文件。
企业站robots协议该如何写
要写好企业站robots.txt文件,我们首先来分析企业站的特点:

内容不太多,蜘蛛每天爬行次数少,文章更新频率低等等。

由此而知,我们更应该珍惜每天蜘蛛来的的次数,让他们每次来抓取时工作效率更高效。我们就要合理的书写robots.txt,来缩减蜘蛛不必要浪费在无用的文件上。

那么我们就需要把不想被蜘蛛抓取的文件,进行屏蔽,如何屏蔽呢?

比如:

User-agent: *

Disallow: /dede/ 屏蔽后台,可自行修改为自己的后台地址

Disallow: /data/系统数据文件,可以屏蔽;

Disallow: /install/安装文件可以屏蔽(也可以根据需要删除)

Disallow: /bin/系统文件可以屏蔽;

Disallow: /bjk/有加密的文件,可以屏蔽;

Disallow: /template/模版文件,可以屏蔽;

Disallow: /uploads/一般放的是图片,可以屏蔽;

Disallow: /member/会员文件,如无需要可以屏蔽;

Disallow: /logreport/有统计报告的可以屏蔽;

Disallow: /img/或/images/,如果你不是做的图片站,可以屏蔽;

Disallow: /js/,/css/可以屏蔽。

最后可以把你的网站地图【siteMap.xml】文件放在robots.txt文件里面。让蜘蛛更轻松愉快的来抓取你网站内容。了解你网站的内部构架,然后做出判断,来打分。

好了。今天凡哥就为大家分析这么多,如果您觉得对您有所启发及帮助,欢迎点赞转载,注意注明出处哦。
相关阅读:新手必看,robots.txt书写秘籍

(本文编辑:凡哥SEO)

阿里云限时送服务器
凡哥

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: