关于禁止百度蜘蛛抓取问题
网站优化 799
Disallow: /域名/index.php?id=xkj76ckvnz.xml
我想禁止这样的动态页面
Disallow: /域名/index.php?id=*
各位老哥这样对吗?
-
User-agent: *
Disallow: /?禁止所有搜索引擎抓取网站全部动态链接
如果只要禁止百度,在第一行:
后面修改为Baiduspider如果要禁止干净可以再增加一项,然后修改为baiduspider
Robots 区别大小写字母
4年前 -
1、是否能成功,可以先设置下,去百度站长Robots哪里测试,看是否封禁;
2、index?后面这种一般是站点被黑生成的大量页面;
3、你可以尝试操作下,看是否可操作,屏蔽操作不用特意写域名,屏蔽文件夹、屏蔽有规则的页面等;
4、如果你的这些页面是被黑页面,如果操作屏蔽抓取也不可行,建议还是提交死链,等待删除,蜘蛛抓取这些页面,返回码404,也是不会收录,也会主动去删除这些页面。
4年前