欲加入创客群请加微信:cool-smiler ,备注:入群

SEO-robots

六项精进 JackLeon 2年前 (2018-01-30) 29次浏览 0个评论 扫描二维码

robots.txt 和 Robots META 标签

我们知道,搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些 ROBOTS 在网络上沿着网页上的链接(一般是 http 和 src 链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被 ROBOTS 抓取而公开。为了解决这个问题,ROBOTS 开发界提供了两个办法:一个是 robots.txt,另一个是 The Robots META 标签。
  一、 robots.txt
  1、 什么是 robots.txt?
  robots.txt 是一个纯文本文件,通过在这个文件中声明该网站中不想被 robots 访问的部分,这样,该网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容。
  当一个搜索机器人访问一个站点时,它会首先检查该站点根目录下是否存在 robots.txt,如果找到,搜索机器人就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。
  robots.txt 必须放置在一个站点的根目录下,而且文件名必须全部小写。
  网站 URL
  相应的 robots.txt 的 URL
  http://www.w3.org/
  http://www.w3.org/robots.txt
  http://www.w3.org:80/
  http://www.w3.org:80/robots.txt
  http://www.w3.org:1234/
  http://www.w3.org:1234/robots.txt
  http://w3.org/
  http://w3.org/robots.txt
  2、 robots.txt 的语法
  ”robots.txt”文件包含一条或更多的记录,这些记录通过空行分开(以 CR,CR/NL, or NL 作为结束符),每一条记录的格式如下所示:
  ”:“。
  在该文件中可以使用#进行注解,具体使用方法和 UNIX 中的惯例一样。该文件中的记录通常以一行或多行 User-agent 开始,后面加上若干 Disallow 行,详细情况如下:
  User-agent:
  该项的值用于描述搜索引擎 robot 的名字,在”robots.txt”文件中,如果有多条 User-agent 记录说明有多个 robot 会受到该协议的限制,对该文件来说,至少要有一条 User-agent 记录。如果该项的值设为,则该协议对任何机器人均有效,在”robots.txt”文件中, “User-agent:“这样的记录只能有一条。
  Disallow :
  该项的值用于描述不希望被访问到的一个 URL,这个 URL 可以是一条完整的路径,也可以是部分的,任何以 Disallow 开头的 URL 均不会被 robot 访问到。例如”Disallow: /help”对/help.html 和/help/index.html 都不允许搜索引擎访问,而”Disallow: /help/”则允许 robot 访问/help.html,而不能访问/help/index.html。
  任何一条 Disallow 记录为空,说明该网站的所有部分都允许被访问,在”/robots.txt”文件中,至少要有一条 Disallow 记录。如果 “/robots.txt”是一个空文件,则对于所有的搜索引擎 robot,该网站都是开放的。
  下面是一些 robots.txt 基本的用法:
  l 禁止所有搜索引擎访问网站的任何部分:
  User-agent: *
  Disallow: /
  l 允许所有的 robot 访问
  User-agent: *
  Disallow:
  或者也可以建一个空文件 “/robots.txt” file
  l 禁止所有搜索引擎访问网站的几个部分(下例中的 cgi-bin、tmp、private 目录)
  User-agent: *
  Disallow: /cgi-bin/
  Disallow: /tmp/
  Disallow: /private/
  l 禁止某个搜索引擎的访问(下例中的 BadBot)
  User-agent: BadBot
  Disallow: /
  l 只允许某个搜索引擎的访问(下例中的 WebCrawler)
  User-agent: WebCrawler
  Disallow:
  User-agent: *
  Disallow: /
  3、 常见搜索引擎机器人 Robots 名字
  名称 搜索引擎
  Baiduspiderhttp://www.baidu.com
  Scooterhttp://www.altavista.com
  ia_archiverhttp://www.alexa.com
  Googlebothttp://www.google.com
  FAST-WebCrawlerhttp://www.alltheweb.com
  Slurphttp://www.inktomi.com
  MSNBOThttp://search.msn.com
  4、 robots.txt 举例
  下面是一些著名站点的 robots.txt:
  http://www.cnn.com/robots.txt
  http://www.google.com/robots.txt
  http://www.ibm.com/robots.txt
  http://www.sun.com/robots.txt
  http://www.eachnet.com/robots.txt
  5、 常见 robots.txt 错误
  l 颠倒了顺序:
  错误写成
  User-agent: *
  Disallow: GoogleBot
  正确的应该是:
  User-agent: GoogleBot
  Disallow: *
  l 把多个禁止命令放在一行中:
  例如,错误地写成
  Disallow: /css/ /cgi-bin/ /images/
  正确的应该是
  Disallow: /css/
  Disallow: /cgi-bin/
  Disallow: /images/
  l 行前有大量空格
  例如写成
  Disallow: /cgi-bin/
  尽管在标准没有谈到这个,但是这种方式很容易出问题。
  l 404 重定向到另外一个页面:
  当 Robot 访问很多没有设置 robots.txt 文件的站点时,会被自动 404 重定向到另外一个 Html 页面。这时 Robot 常常会以处理 robots.txt 文件的方式处理这个 Html 页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的 robots.txt 文件在站点根目录下。
  l 采用大写。例如
  USER-AGENT: EXCITE
  DISALLOW:
  虽然标准是没有大小写的,但是目录和文件名应该小写:
  user-agent:GoogleBot
  disallow:
  l 语法中只有 Disallow,没有 Allow!
  错误的写法是:
  User-agent: Baiduspider
  Disallow: /john/
  allow: /jane/
  l 忘记了斜杠/
  错误的写做:
  User-agent: Baiduspider
  Disallow: css
  正确的应该是
  User-agent: Baiduspider
  Disallow: /css/
  下面一个小工具专门检查 robots.txt 文件的有效性:
  http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
  二、 Robots META 标签
  1、什么是 Robots META 标签
  Robots.txt 文件主要是限制整个站点或者目录的搜索引擎访问情况,而 Robots META 标签则主要是针对一个个具体的页面。和其他的 META 标签(如使用的语言、页面的描述、关键词等)一样,Robots META 标签也是放在页面的中,专门用来告诉搜索引擎 ROBOTS 如何抓取该页的内容。具体的形式类似(见黑体部分):
  
  
  时代营销–网络营销专业门户
  
  
  
  
     

  
  …
  
  
  2、Robots META 标签的写法:
  Robots META 标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为 name=”BaiduSpider”。content 部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。
  INDEX 指令告诉搜索机器人抓取该页面;
  FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
  Robots Meta 标签的缺省值是 INDEX 和 FOLLOW,只有 inktomi 除外,对于它,缺省值是 INDEX,NOFOLLOW。
  这样,一共有四种组合:
  
  
  
  
   其中可以写成可以写成
  要注意的是:上述的 robots.txt 和 Robots META 标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则,需要搜索引擎机器人的配合才行,并不是每个 ROBOTS 都遵守的。
  目前看来,绝大多数的搜索引擎机器人都遵守 robots.txt 的规则,而对于 Robots META 标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎 GOOGLE 就完全支持,而且 GOOGLE 还增加了一个指令“archive”,可以限制 GOOGLE 是否保留网页快照。例如:
  表示抓取该站点中页面并沿着页面中链接抓取,但是不在 GOOLGE 上保留该页面的网页快照
  为网站的 Web Robot 设计路标
  HTML 文档中小 meta 的大作用
  Robots.txt 指南
  Robots Meta Tag 的使用


温馨提示:若在升级会员或付费后阅读过程中遇到问题,请加客服微信号(cool-smiler)沟通解决,祝您生活愉快。
转载请注明原文链接:SEO-robots
喜欢 (0)
[1186664388@qq.com]
分享 (0)
关于作者:
创享视界(creativeview.cn)是一个带动全民颠覆八小时工作制,通过投稿把自己的创意智慧变现的方式创造被动收入,从而实现财务自由的平台。我们相信,创新思维不仅有助于打造更出色的产品,还可以让世界变得更美好,让人人受益。
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
%d 博主赞过: