写一个好的robots.txt的技能操作

干货 2年前 (2016-08-19) 118次浏览 已收录 0个评论

株洲 SEO 看了一些网站,发现很多网站的robots.txt文件都是错误的,今天再为大家奉献一篇robots.txt写法文章。

写一个好的 robots.txt 的技能操作

User-agent: *
Disallow: /member
Disallow: /plus
Disallow: /install
Disallow: /data
Disallow: /special
Disallow: /yuyue
Sitemap: http://www.wangxiaoyou.com/sitemap.xml
robots.txt语法包含:三个语法和两个通配符写法如下:
1、User-agent:定义搜索引擎类型
2、Disallow:定义禁止抓取收录地址
3、Allow:定义允许抓取收录地址
4、”*”匹配 0 个或多个任意字符
5、”$”结束符
注意:开头的的英文字母一定要大写如上,而且”:”号要一个空格
6、robots 路径后面不带”/”和带”/”的区别,株洲 SEO 的理解是:robots 路径后面不带”/”是整个根目录
如:
User-agent: *
Disallow: /member
在”member”整个根目录都不允许所有的蜘蛛抓取
7、robots.txt路径后面带”/”目录里除了/member/sfd/fda/ 这以下的根目录可以访问,/member/的根目录访问不了
如:
User-agent: *
Disallow: /member/sfd/fda
8、增加网站地图写法:Sitemap: http://www.wangxiaoyou.com/sitemap.xml
看完株洲 SEO 上面写的内容以后,你有没有会正确书写robots.txt呢?如果还不会的话可以在文章下留言评论。

本文版权归湖南 SEO所有丨如需转载请注明文章出处
原文地址:https://www.wangxiaoyou.com/571.html
喜欢 (0)
[736035566@qq.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址