当前位置: 主页 > SEO教程 > SEO入门 >

Robots协议及其标准写法

点击次数: 更新时间:2017-01-10

1、什么是Robots协议
Robots是网站和搜引擎之间的一个协议。一般在网站根目录下放置robots.txt文件,用来告诉搜索引擎应该或者不应该抓取哪些页面或内容。早期是为了防止搜索引擎抓取网站的一些隐私页面,不想公开展示的页面,Robots的作用已经不在局限于网页的隐私了,如今已经是作为学习SEO的一个最基础的范畴,能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录。

2、几个常用的例子
(1)
屏蔽所有搜索引擎爬取网站
User-agent: *
Disallow: /

(2)允许所有搜索引擎爬取网站所有内容
User-agent: *
Disallow:

(3)只禁止百度抓取你网站的内容
User-agent: Baiduspider
Disallow: /

(4)只允许百度抓取你网站的内容
User-agent: Baiduspider
Disallow:
User-agent: *
disallow: /

(5)禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
 
3、常见的搜索引擎蜘蛛

百度蜘蛛:Baiduspider
谷歌机器人:Googlebot
360好搜: 360spider
SOSO蜘蛛:Sosospider
雅虎的蜘蛛 Mozilla
微软bing的蜘蛛:msnbot