A. 颠倒了顺序

错误写成：

User-agent: *

Disallow: GoogleBot

正确的应该是：

User-agent: GoogleBot

Disallow: *

B. 把多个禁止命令放在一行中

错误写成：

Disallow: /css/ /cgi-bin/ /images/

正确的应该是：

Disallow: /css/

Disallow: /cgi-bin/

Disallow: /images/

C. 行前有大量空格

错误写成：

Disallow: /cgi-bin/

尽管在标准没有谈到这个，但是这种方式很容易出问题。

D. 404 重定向到另外一个页面

当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html 页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt 文件在站点根目录下。

E. 采用大写

错误写成：

USER-AGENT: EXCITE

DISALLOW:

虽然标准是没有大小写的，但是目录和文件名应该小写。

正确的应该是：

user-agent:GoogleBot

disallow:

F. 语法中只有Disallow，没有Allow

错误写成：

User-agent: Baiduspider

Disallow: /john/

allow: /jane/

G. 忘记了斜杠/

错误写成：

User-agent: Baiduspider

Disallow: css

正确的应该是：

User-agent: Baiduspider

Disallow: /css/

上一节：[ 6.6 ]robots.txt文件使用技巧

下一节：[ 6.8 ]如何优化网站URL