禁止bing蜘蛛访问,这样设置robots.txt对不对

rightnow5 · 发表于 2012-3-20 10:02:00

禁止bing蜘蛛访问,这样设置robots.txt对不对
User-agent: *
Disallow: /admin/
User-agent: MSNbot
Disallow: /

MSN蜘蛛禁止访问所有目录,其他搜索引擎蜘蛛禁止访问admin文件夹

onesz · 发表于 2012-3-20 10:04:35

为什么要禁止bing呢？我都来不及叫蜘蛛来。

rightnow5 · 发表于 2012-3-20 10:08:57

onesz 发表于 2012-3-20 10:04
为什么要禁止bing呢？我都来不及叫蜘蛛来。

bing爬100万也不会来几个流量
蜘蛛20几个一直在爬 vps扛不住

loveminds · 发表于 2012-3-20 11:59:17

应该没错

老包子 · 发表于 2012-3-20 12:04:50

正确

满意沟通 · 发表于 2012-3-20 15:06:06

User-agent: bingbot
Disallow: /

再加一个

bing也流氓的 .htaccess再屏蔽一下

walkman660 · 发表于 2012-3-20 15:11:35

在线生成robots.txt
http://www.robotstxt.com.cn/

		自动登录	找回密码
密码			注册