文章当前位置:甘肃兰州SEO_网站建设_关键词排名优化-⎛⎝张庭宇博客⎠⎞ »
SEO基础 » robots是什么以及robots的规范和符号含义
robots是什么以及robots的规范和符号含义
一、robots是什么?
robots一个文本文件,文件名是robots.txt,它是蜘蛛抓取网站的时候访问的第一个文件。robots文件将告诉蜘蛛在服务器上什么文件是可以被访问的,什么文件是无法访问的。每个站点最好建立一个robots.txt文件,即使是一个空文件,这样处理是有利于SEO优化的。robots文件可以用这样的格式:http://域名/robots.txt 查看。
二、robots的规范和符号含义:
1、User Agent 。常见的蜘蛛(机器人)有谷歌蜘蛛,百度蜘蛛,搜搜蜘蛛,搜狗蜘蛛,360蜘蛛等
2、Disallow。禁止抓取,屏蔽抓取
3、Allow。允许抓取,一般遵从最详细的规则
4、* 。表示通配符,可以匹配0或任意多个任意字符
5、$ 。表示以某某结尾,例如Disallow:/*.js$ ,表示禁止抓取js
6、其他的有(1)英文状态下的冒号;(2)空格 ;(3)首字母大写;(4)“/” 表示根目录或网站所有文件。
----------------------------------------本文完-----------------------------------------
亲,来都来了,回复一下再走吧。