User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Allow: /

User-agent: *
Disallow: /
例5. 仅允许Baiduspider以及

 

顶: 3 踩: 0

来源: QQ/微信:13340454 ,转载请注明出处!

本文地址: