正在阅读:

为什么要设置robots.txt文件?

5,025

从SEO的角度,robots.txt文件是一定要设置的,原因有以下几点:

① 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

② 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

③ 一些没有关键词的页面,比如本站的这个页面http://jiangwenseo.com/kuaizhao.html,屏蔽掉更好。

④ 一般情况下,站内的搜索结果页面屏蔽掉更好。

上一节[ 5.5 ]robots.txt写法

下一节[ 5.7 ]搜索引擎的定义,原理以及作用

目前有:1条访客评论

  1. 康秋华

    朋友你好,想和你聊天!

留下脚印,证明你来过。

但是现在想留下脚印,你必须先登录