网站robots.txt怎么写?

SEO技术 2年前 (2016-08-04) 149次浏览 已收录 0个评论

几乎每一个网站的根目录下都有一个robots.txt文件,robots 是搜索引擎与网站之间的一个协议,可以让搜索引擎蜘蛛知晓抓取哪些文件不抓取哪些文件,蜘蛛来爬取我们网站时,第一个是访问的文件是robots.txt,蜘蛛会遵循 robots 协议进行爬行抓取我们的网站。

网站 robots.txt 怎么写?

robots.txt文件中我们通常可以看到几个参数,在编写robots.txt文件之前我们必须要掌握这些参数的用途:
User-agent(定义搜索引擎的类型)
Disallow(定义禁止抓取收录地址)
Allow(定义允许抓取收录地址)
*(匹配 0 或多个任意字符)
$(结束符)
Sitemap(网站地图)

robots.txt协议文件该怎么编写呢?表急哦,王小优这就和大家一起走进神秘的 robots 世界!

User-agent: * 
定义所有的搜索引擎
User_agent: *
Disallow: /
禁止所有搜索引擎访问网站所有内容
User_agent: Baiduspider
Disallow: /
禁止百度蜘蛛抓取网站所有内容
User_agent: *
Allow: /
允许所有搜索引擎网站抓取网站所有内容
User_agent: *
Disallow: /*?*
允许所有搜索引擎禁止抓取动态页面内容
User_agent: *
Disallow: /news
禁止所有搜索引擎抓取以/news 开头的所有文件
User_agent: Baiduspider
Allow: *.gif$
Disallow: *.jpg$
允许百度蜘蛛抓取网站允许抓取.gif 格式图片禁止抓取.jpg 格式图片
User_agent: *
Allow: /plus/
Disallow: /plus/ad_js.php
允许所有搜索引擎抓取 plus 文件夹但禁止抓取 plus 文件夹下 ad_js.php 文件
Sitemap: https://www.wangxiaoyou.com/sitemap.xml
告诉蜘蛛网站地图访问路径为 https://www.wangxiaoyou.com/sitemap.xml

编写robots.txt注意事项:①生效时间短则几天,长则一周;②一个协议写一行;③每行的首字母必须是大写;④冒号必须是英文状态下的;⑤英文冒号后面必须要有一个空格;⑥Sitemap 网站地图一定要放在最下方。

根据博主王小优给出以上几个参考写法,大家可以根据自己网站的实际情况进行编写 robots 协议,编写的流程为:新建 txt 文档→命名为 robots→根据网站实际情况进行编写 robots 协议→保存文档→上传至网站根目录→将 robots.txt 的访问路径提交到百度站长平台。

编写 robots.txt 文件,大家是不是也想知道一下搜索引擎蜘蛛有哪些?大家可以再看一下我写的搜索引擎蜘蛛都有哪些这篇文章,让您对搜索引擎的认识更全面!


本文版权归湖南 SEO所有丨如需转载请注明文章出处
原文地址:https://www.wangxiaoyou.com/312.html
喜欢 (0)
[736035566@qq.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址