标签: 一招

在说帝国CMS中robots.txt文件使用前先给大家解释下robots.tx是干什么的.robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓 ...