关于禁止百度蜘蛛抓取问题

江城武汉仔 分类:网站优化

Disallow: /域名/index.php?id=xkj76ckvnz.xml

我想禁止这样的动态页面

Disallow: /域名/index.php?id=*

各位老哥这样对吗?

回复

共2条回复 我来回复
  • yufu
    yufu
    婚礼化妆师,兼职seo。。。。
    评论

    User-agent: *
    Disallow: /?

    禁止所有搜索引擎抓取网站全部动态链接
    如果只要禁止百度,在第一行:
    后面修改为Baiduspider

    如果要禁止干净可以再增加一项,然后修改为baiduspider

    Robots 区别大小写字母

    8个月前 0条评论
  • 牛牛
    牛牛
    快速排名用户,请在导航上点击【快排工具】进入快排系统》》》》》》》 这个人很懒,什么都没有留下~
    评论

    1、是否能成功,可以先设置下,去百度站长Robots哪里测试,看是否封禁;

    2、index?后面这种一般是站点被黑生成的大量页面;

    3、你可以尝试操作下,看是否可操作,屏蔽操作不用特意写域名,屏蔽文件夹、屏蔽有规则的页面等;

    4、如果你的这些页面是被黑页面,如果操作屏蔽抓取也不可行,建议还是提交死链,等待删除,蜘蛛抓取这些页面,返回码404,也是不会收录,也会主动去删除这些页面。

    8个月前 0条评论