robots.txt 语法：
“robots.txt“文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），
每一条记录的格式如下所示：
”<field>:<optionalspace><value><optionalspace>”。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
User-agent: (全文…)
robots.txt 语法：
“robots.txt“文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），
每一条记录的格式如下所示：
”<field>:<optionalspace><value><optionalspace>”。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
User-agent: (全文…)
