网站robots.txt怎么写?

SEO技术 3年前 (2016-08-04) 233次浏览 已收录 0个评论 扫描二维码

几乎每一个网站的根目录下都有一个robots.txt文件,robots是搜索引擎与网站之间的一个协议,可以让搜索引擎蜘蛛知晓抓取哪些文件不抓取哪些文件,蜘蛛来爬取我们网站时,第一个是访问的文件是robots.txt,蜘蛛会遵循robots协议进行爬行抓取我们的网站。

网站robots.txt怎么写?

robots.txt文件中我们通常可以看到几个参数,在编写robots.txt文件之前我们必须要掌握这些参数的用途:
User-agent(定义搜索引擎的类型)
Disallow(定义禁止抓取收录地址)
Allow(定义允许抓取收录地址)
*(匹配0或多个任意字符)
$(结束符)
Sitemap(网站地图)

robots.txt协议文件该怎么编写呢?表急哦,王小优这就和大家一起走进神秘的robots世界!

User-agent: * 
定义所有的搜索引擎
User_agent: *
Disallow: /
禁止所有搜索引擎访问网站所有内容
User_agent: Baiduspider
Disallow: /
禁止百度蜘蛛抓取网站所有内容
User_agent: *
Allow: /
允许所有搜索引擎网站抓取网站所有内容
User_agent: *
Disallow: /*?*
允许所有搜索引擎禁止抓取动态页面内容
User_agent: *
Disallow: /news
禁止所有搜索引擎抓取以/news开头的所有文件
User_agent: Baiduspider
Allow: *.gif$
Disallow: *.jpg$
允许百度蜘蛛抓取网站允许抓取.gif格式图片禁止抓取.jpg格式图片
User_agent: *
Allow: /plus/
Disallow: /plus/ad_js.php
允许所有搜索引擎抓取plus文件夹但禁止抓取plus文件夹下ad_js.php文件
Sitemap: https://www.wangxiaoyou.com/sitemap.xml
告诉蜘蛛网站地图访问路径为https://www.wangxiaoyou.com/sitemap.xml

编写robots.txt注意事项:①生效时间短则几天,长则一周;②一个协议写一行;③每行的首字母必须是大写;④冒号必须是英文状态下的;⑤英文冒号后面必须要有一个空格;⑥Sitemap网站地图一定要放在最下方。

根据博主王小优给出以上几个参考写法,大家可以根据自己网站的实际情况进行编写robots协议,编写的流程为:新建txt文档→命名为robots→根据网站实际情况进行编写robots协议→保存文档→上传至网站根目录→将robots.txt的访问路径提交到百度站长平台。

编写robots.txt文件,大家是不是也想知道一下搜索引擎蜘蛛有哪些?大家可以再看一下我写的搜索引擎蜘蛛都有哪些这篇文章,让您对搜索引擎的认识更全面!


本文版权归湖南SEO所有丨如需转载请注明文章出处
原文地址:https://www.wangxiaoyou.com/312.html
喜欢 (0)
[736035566@qq.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

Parse error: syntax error, unexpected '<' in /www/wwwroot/wangxiaoyou.com/wp-content/themes/Git-alpha/footer.php on line 23