站长工具¹

稍微了解过过SEO的站长朋友都应该知道 robots协议,也称为爬虫协议、爬虫规则、机器人协议等;也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪 ...