文章当前位置:【甘肃兰州SEO】-美吧SEO-网站排名优化-『张庭宇博客』 » SEO基础 » robots是什么以及robots的规范和符号含义

robots是什么以及robots的规范和符号含义

2年前 (2018-04-25) Fianchetto SEO基础 0评论 已收录 1095℃

一、robots是什么?

         robots一个文本文件,文件名是robots.txt,它是蜘蛛抓取网站的时候访问的第一个文件。robots文件将告诉蜘蛛在服务器上什么文件是可以被访问的,什么文件是无法访问的。每个站点最好建立一个robots.txt文件,即使是一个空文件,这样处理是有利于SEO优化的。robots文件可以用这样的格式:http://域名/robots.txt 查看。

                         robots

二、robots的规范和符号含义:

   1、User Agent 。常见的蜘蛛(机器人)有谷歌蜘蛛,百度蜘蛛,搜搜蜘蛛,搜狗蜘蛛,360蜘蛛等

   2、Disallow。禁止抓取,屏蔽抓取

   3、Allow。允许抓取,一般遵从最详细的规则

   4、* 。表示通配符,可以匹配0或任意多个任意字符

   5、$ 。表示以某某结尾,例如Disallow:/*.js$ ,表示禁止抓取js

   6、其他的有(1)英文状态下的冒号;(2)空格 ;(3)首字母大写;(4)“/” 表示根目录或网站所有文件。

----------------------------------------本文完-----------------------------------------

         
博主
               

每一个不曾起舞的日子,都是对生命的辜负。--------尼采

相关推荐

亲,来都来了,回复一下再走吧。

×
订阅图标按钮