Robots.txt 文件

要从模板生成 robots.txt 文件，请更改站点配置如下：

enableRobotsTXT: true

enableRobotsTXT = true

{
   "enableRobotsTXT": true
}

默认情况下，Hugo 使用内部模板生成 robots.txt。

User-agent: *

遵守 Robots Exclusion Protocol 的搜索引擎将解释这一行为允许在网站上爬取所有内容。

robots.txt 模板的查找顺序

您可以使用自定义模板来覆盖内部模板。Hugo 使用以下查找顺序来选择模板：

1. /layouts/robots.txt
2. /themes/<THEME>/layouts/robots.txt

robots.txt 模板示例

User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}

此模板会为网站上的每个页面创建一个带有 Disallow 指令的 robots.txt 文件。遵守 Robots Exclusion Protocol 的搜索引擎将不会爬取网站上的任何页面。