Office学院问题解答系统 > FrontPage网页编辑 > 其它问题 > 怎么设置robots文件,写好了为什么还会收录
已关闭
怎么设置robots文件,写好了为什么还会收录 可以,目录,内容,怎么,所有,robots
悬赏分:0 - - 阅读次数: 举报

http://www.sogosf.com  这网站写了个robots 文本,可以到  http://www.sogosf.com/robots 去看下,,
内容有一下这段:

User-agent: *
Disallow: /Html/
Disallow: /HtmlTitle/
下面是蜘蛛的记录,
2010-08-08 09:00:13 W3SVC164783286 121.12.173.5 GET /Html/201073/Content_12.html - 80 - 220.181.7.124 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0
2010-08-08 00:07:42 W3SVC164783286 121.12.173.5 GET /Html/2010615/Content_43.html - 80 - 213.180.209.10 Mozilla/5.0+(compatible;+YandexBot/3.0;++http://yandex.com/bots) 200 0 0
010-08-08 00:33:10 W3SVC164783286 121.12.173.5 GET /Html/2010620/Content_9.html - 80 - 202.160.178.36 Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) 200 0 0

  我不想让蜘蛛抓着两个目录的所有东西,可是,蜘蛛还是可以正常的抓取。。。
  html 目录里面还有目录,2010 .2012.,我明明设定了,不让抓取 html,可以蜘蛛还是能抓取,,html/2010/ss.html的内容,我该怎么写,才可以让蜘蛛不抓取,HTML,目录里面的所有内容啊,连接也包括。。。。求高手解答,感激不仅,,,

提问者:sogosf - 幼儿园 1级
共 0 条答复

浏览过的问题