从SEO的角度，robots.txt文件是一定要设置的，原因有以下几点：

① 网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

② 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

③ 一些没有关键词的页面，比如本站的这个页面http://jiangwenseo.com/kuaizhao.html，屏蔽掉更好。

④ 一般情况下，站内的搜索结果页面屏蔽掉更好。

上一节：[ 5.5 ]robots.txt写法

下一节：[ 5.7 ]搜索引擎的定义，原理以及作用