写一个机器人。txt是一个简单的过程。遵循以下简单步骤：
打开记事本、Microsoft Word或任何文本编辑器，并将文件另存为“robots”，全部小写，确保选择。txt作为文件类型扩展名（在Word中，选择“纯文本”）。
接下来，将以下两行文本添加到文件中：
User-agent: *
Disallow:
“用户代理”是机器人或搜索引擎蜘蛛的另一个词。星号（*）表示这条线适用于所有蜘蛛。在这里，不允许行中没有列出任何文件或文件夹，这意味着可以访问站点上的每个目录。这是一个基本的机器人文本文件。
阻止搜索引擎蜘蛛进入整个网站也是机器人之一。txt选项。为此，请将以下两行添加到文件中：
User-agent: *
Disallow: /
如果你想阻止蜘蛛进入你网站的某些区域，你的机器人。txt可能如下所示：
User-agent: *
Disallow: /database/
Disallow: /scripts/
以上三行告诉所有机器人，它们不允许访问数据库和脚本目录或子目录中的任何内容。请记住，每个不允许的行只能使用一个文件或文件夹。您可以根据需要添加尽可能多的不允许行。资料来源：
thesearchguru