robots是什么以及robots的规范和符号含义

一、robots是什么？

         robots一个文本文件，文件名是robots.txt，它是蜘蛛抓取网站的时候访问的第一个文件。robots文件将告诉蜘蛛在服务器上什么文件是可以被访问的，什么文件是无法访问的。每个站点最好建立一个robots.txt文件，即使是一个空文件，这样处理是有利于SEO优化的。robots文件可以用这样的格式：http://域名/robots.txt 查看。

二、robots的规范和符号含义：

   1、User Agent 。常见的蜘蛛（机器人）有谷歌蜘蛛，百度蜘蛛，搜搜蜘蛛，搜狗蜘蛛，360蜘蛛等

   2、Disallow。禁止抓取，屏蔽抓取

   3、Allow。允许抓取，一般遵从最详细的规则

   4、* 。表示通配符，可以匹配0或任意多个任意字符

   5、$ 。表示以某某结尾，例如Disallow:/*.js$ ,表示禁止抓取js

   6、其他的有（1）英文状态下的冒号；（2）空格 ；（3）首字母大写；（4）“/” 表示根目录或网站所有文件。

----------------------------------------本文完-----------------------------------------