般都说可以使用robots.txt 文件来屏蔽不想被搜索引擎抓取的页面，但是这些“不想被抓取的页面”般都会有哪些呢?下面来举几个简单的例子。
  (1)多版本URL情况下，非主显URL 的其他版本。比如网站链接伪静态后不希望搜索引擎抓取动态版本了，这时可以使用robots.txt 屏蔽掉站内所有动态链接。

  (2) 如果网站内有大量的交叉组合查询所生成的页面，肯定有大量页面是没有内容的，对于没有内容的页面可以单独设置个URL 特征，然后使用robots.txt 进行屏蔽，以防被搜索引擎认为网站制造垃圾页面。
  (3) 如果网站改版或因为某种原因突然删除了大量页面，众所周知。网站突然出现大量死链接对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链接，但是还不如直接屏蔽百度对死链接的抓取，这样理论上百度不会突然发现网站多了太多死链接，或者两者同时进行。当然站长自己好把站内的死链接清理干净。
  (4) 如果网站有类似UGC 的功能，且为了提高用户提供内容的积极性并没有禁止用户在内容中夹杂链接，此时为了不让这些链接浪费网站权重或牵连网站，可以把这些链接做成站内的跳转链接，然后使用robots.txt进行屏蔽。现在有不少论坛已经这样操作了。
  (5) 常规的不希望被搜索引擎索引的内容，比如隐私数据、用户信息、管理后台页面等都可以使用robots.txt 进行屏蔽。


本文由SEO优化整理，本文不代表本站观点