介绍:7080SEO承接网站建设、网站优化外包服务、关键词快速排名、整站优化、长尾关键词优化等SEO排名,专业研究百度搜索引擎优化的SEO技术团队!有关网站建设、网站优化业务合作。

Robots的完整写法

SEO知识 7080SEO团队 745浏览
Robots的完整写法

作为SEORobots的写法作为必须了解的内容之一,错误的写法可能给你带来不被搜索引擎收录的恶果。

Robots文本中,因先写出对什么搜索引擎生效,然后是禁止抓取目录,允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则,如果内容是“*”,则表示对所有搜索引擎生效。

Baiduspider表示百度蜘蛛;

Googlebot 表示谷歌蜘蛛;

360Spider 表示360蜘蛛;

写了针对的蜘蛛后,就需要写具体的禁止抓取哪些目录,允许哪些目录。

Disallow: 表示禁止抓取后面的目录;

Allow: 表示允许抓取后面的目录。

是个通配符,可以代替任意内容。

字符指定与网址的结束字符进行匹配。

例如,要拦截以 .asp 结尾的网址,可使用下列条目:

User-Agent:*

Disallow:/*.asp$

例:

Disallow:/admin/  禁止访问/admin/目录的内容。

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL

完整写法:

User-agent:*                      /**以下内容针对所有搜索引擎

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

*****

Allow:/html/                                                    /**允许访问/html/目录的内容

*****

作为新手对Robots不是很明确的朋友,可以不写Robots.txt文件,以免错误的写发导致内容的不收录。

Robots最多的用途是屏蔽网站的后台目录,以免被收录后,被heike所利用;以及保护自己的版权资源,以免被搜索引擎收录了以后,展示在搜索结果里。

更多SEO资讯请关注:7080seo,干货不停歇!