Robots.txt文件生成

1.Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。

它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

2.[User-agent:]用于描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多条User-agent记录

说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项

的值设为*，则该协议对任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"这样的记录只能有一条。

3.[Disallow:]用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何

以Disallow开头的URL均不会被Robot访问到。