robots是什么以及robots的规范和符号含义

一、robots是什么？          robots一个文本文件，文件名是robots.txt，它是蜘蛛抓取网站的时候访问的第一个文件。robots文件将告诉蜘蛛在服务器上什么文件是可以…Read more »