在网站根目录下新建robots.txt文件
1、禁止所有搜索引擎访问网站的所有部分
2、禁止所有搜索引擎访问css 和admin 目录将CSS或admin目录修改为你指定的文件目录或文件即可。
此标记禁止搜索引擎抓取网站并显示网页快照
注:已经加了禁止代码,但是搜索引擎还可以搜索出来因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。