泉州网站建设:网站Robots协议的编写要求

泉州网站建设:为什么网站要写robots协议

robot协议

与百度抓取的协议，此文件是百度蜘蛛第一个抓取的文件。可以定义搜索引擎抓取哪些部分，不能抓取哪些部分。

特殊符号及常用词组

/;代表根目录 *：可代替多个字符 $：终止 

Disallow 禁止搜索引擎抓取部分 

Allow 允许搜索引擎抓取

User-agent 定义搜索引擎

编写格式

顶头大写 全英文状态编写 冒号后的空格要注意！

Disallow: /

对于图片的抓取设置编写

Disallow: /*jpeg$

动态链接*来代替编码

Disallow: /*?*

robots作为网站与百度接触的第一个文件，重要程度可见一斑。是网站优化的第一步，让百度的收录我们要他收录的内容，这是我们在优化上做到的最大程度的主动。(泉州网站建设文章来自百度新闻)