您好,欢迎来到上海SEO香港宝典最快开奖结果990990藏宝阁开奖资料,香港六和合开奖资料20182018赛马会开奖结果-49494949最快开奖结果,香港六和合开奖结果直播!香港宝典最快开奖结果990990藏宝阁开奖资料,香港六和合开奖资料20182018赛马会开奖结果专业承网站优化、网站推广、关键词排名优化等服务!欢迎咨询!
您的当前位置:上海SEO > 优化常识 > 如何正确使用robots.txt?对优化的作用有哪些?

如何正确使用robots.txt?对优化的作用有哪些?

来源:上海SEO香港宝典最快开奖结果990990藏宝阁开奖资料,香港六和合开奖资料20182018赛马会开奖结果日期: 2019-01-23 14:16编辑:49494949最快开奖结果,香港六和合开奖结果直播
  robots.txt其实就是Robots协议,是网站针对搜索引擎抓取的一种应对方式,能避免搜索引擎抓取网站已经舍去或错误的链接,避免网站出现大量死链等问题,Robots协议是搜索引擎在抓取网站信息时要遵守的一个规则,是国际互联网界通行的道德规范。只要是正规的搜索引擎都会准守,因此,网站优化中可以灵活的运用起来。下面,上海SEO就为大家介绍一下robots.txt的重要性及正确使用方法。
 
  一、robots.txt是什么?
 
  robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。
 
  当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
 
  二、robots.txt的作用
 
  1、引导搜索引擎蜘蛛抓取指定栏目或内容;
 
  2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;
 
  3、屏蔽死链接、404错误页面;

如何正确使用robots.txt?对优化的作用有哪些?
 
  4、屏蔽无内容、无价值页面;
 
  5、屏蔽重复页面,如评论页、搜索结果页;
 
  6、屏蔽任何不想被收录的页面;
 
  7、引导蜘蛛抓取网站地图;
 
  三、Robots的语法(三个语法和两个通配符)
 
  三个语法如下:
 
  1、User-agent:(定义搜索引擎)
 
  示例:
 
  User-agent: *(定义所有搜索引擎)
 
  User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)
 
  User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)
 
  不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。
 
  2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)
 
  示例:
 
  Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
 
  Disallow: /admin (禁止蜘蛛爬取admin目录)
 
  Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
 
  Disallow: /help.html (禁止蜘蛛爬去help.html页面)

如何正确使用robots.txt?对优化的作用有哪些?
 
  3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)
 
  示例:
 
  Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
 
  Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)
 
  两个通配符如下:
 
  4、匹配符 “$”
 
  $ 通配符:匹配URL结尾的字符
 
  5、通配符 “*”
 
  * 通配符:匹配0个或多个任意字符
 
  四、robots.txt 综合示例
 
  1、禁止搜索引擎抓取特定目录
 
  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
 
  User-agent: *   Disallow: /admin/
 
  Disallow: /tmp/
 
  Disallow: /abc/
 
  2、禁止admin目录,但允许抓取admin目录下的seo子目录
 
  User-agent: *   Allow: /admin/seo/
 
  Disallow: /admin/

如何正确使用robots.txt?对优化的作用有哪些?
 
  3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录)
 
  User-agent: *   Disallow: /abc/*.htm$
 
  4、禁止抓取网站中所有的动态页面
 
  User-agent: *   Disallow: /?
 
  屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。
 
  5、禁止百度蜘蛛抓取网站所有的图片
 
  User-agent: Baiduspider
 
  Disallow: /.jpg$
 
  Disallow: /.jpeg$
 
  Disallow: /.gif$
 
  Disallow: /.png$
 
  Disallow: /*.bmp$
 
  6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告
 
  User-agent: *   Disallow: /folder1/
 
  User-agent: Mediapartners-Google
 
  Allow: /folder1/
 
  请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

如何正确使用robots.txt?对优化的作用有哪些?
 
  五、注意事项
 
  1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。
 
  以淘宝网为例:比如通过 https://www.taobao.com/robots.txt 你就可以访问淘宝网的robots.txt文件了。
 
  2、robots.txt 文件名命名必须小写,记得在robot面加“s”。
 
  3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。
 
  4、路径后面加斜杠“/” 和不加斜杠的是有区别的
 
  Disallow: /help
 
  禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html
 
  Disallow: /help/
 
  禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html
 
  5、Disallow与Allow行的顺序是有意义的:
 
  举例说明:
 
  允许蜘蛛访问 /admin/ 目录下的seo文件夹
 
  User-agent: *     Allow: /admin/seo/
 
  Disallow: /admin/
 
  如果Allow 和 Disallow 的顺序调换一下:
 
  User-agent: *     Disallow: /admin/
 
  Allow: /admin/seo/
 
  蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为 Disallow: /admin/ 已匹配成功。

淘宝网robots.txt部分内容
 
  六、关于Robots Meta
 
  Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
 
  Robots Meta 标签中没有大小写之分,name="Robots" 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name="Googlebot", content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。
 
  Index 指令告诉搜索机器人抓取该页面;
 
  NoIndex命令:告诉搜索引擎不允许抓取这个页面
 
  Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
 
  NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
 
  Robots Meta 标签的缺省值是Index和Follow;
 
  根据以上的命令,我们就有了一下的四种组合:
 
  可以抓取本页,而且可以顺着本页继续索引别的链接=
 
  不许抓取本页,但是可以顺着本页抓取索引别的链接
 
  可以抓取本页,但是不许顺着本页抓取索引别的链接
 
  不许抓取本页,也不许顺着本页抓取索引别的链接。
 
  七、关于 rel="nofollow"
 
  nofollow有两种用法:
 
  1.用于meta元标签:<meta name="robots" content="nofollow" />,告诉爬虫该页面上所有链接都无需追踪。
 
  2.用于a标签:<a href=/yhcs/"login.html rel="nofollow">登录</a>,告诉爬虫该页面无需追踪。
 
  上海49494949最快开奖结果,香港六和合开奖结果直播总结:Robots协议是为了保护网站使用者的个人隐私和信息不被侵犯,是互联网行业的道德规范。对于进行SEO优化的企业网站来说,可能没有那么重大的作用,但是也能很好的帮助网站处理一些问题,不过在操作中要多加注意,防止不必要的问题出现,影响网站优化效果
Copyright © 2018 上海SEO www. 【 上海SEO香港宝典最快开奖结果990990藏宝阁开奖资料,香港六和合开奖资料20182018赛马会开奖结果-49494949最快开奖结果,香港六和合开奖结果直播