正在阅读:

robots.txt文件的错误写法!

6,321

A. 颠倒了顺序

错误写成:

User-agent: *

Disallow: GoogleBot

正确的应该是:

User-agent: GoogleBot

Disallow: *

B. 把多个禁止命令放在一行中

错误写成:

Disallow: /css/ /cgi-bin/ /images/

正确的应该是:

Disallow: /css/

Disallow: /cgi-bin/

Disallow: /images/

C. 行前有大量空格

错误写成:

Disallow: /cgi-bin/

尽管在标准没有谈到这个,但是这种方式很容易出问题。

D. 404 重定向到另外一个页面

当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html 页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的robots.txt 文件在站点根目录下。

E. 采用大写

错误写成:

USER-AGENT: EXCITE

DISALLOW:

虽然标准是没有大小写的,但是目录和文件名应该小写。

正确的应该是:

user-agent:GoogleBot

disallow:

F. 语法中只有Disallow,没有Allow

错误写成:

User-agent: Baiduspider

Disallow: /john/

allow: /jane/

G. 忘记了斜杠/

错误写成:

User-agent: Baiduspider

Disallow: css

正确的应该是:

User-agent: Baiduspider

Disallow: /css/

上一节[ 6.6 ]robots.txt文件使用技巧

下一节[ 6.8 ]如何优化网站URL

目前有:1条访客评论

  1. 静琪

    不错的。谢谢喽

留下脚印,证明你来过。

但是现在想留下脚印,你必须先登录