泉州网站建设:网站Robots协议的编写要求

泉州网站建设:robot协议是指与百度抓取的协议，此文件是百度蜘蛛第一个抓取的文件。可以定义搜索引擎抓取哪些部分，不能抓取哪些部分。