robots.txt指的是用来控制搜索引擎蜘蛛抓取网站页面范围的文本文档，用来告知搜索引擎网站哪些页面（目录）可以抓取，哪些页面不可以抓取（例如一些涉及网站安全的页面及影响SEO效果的页面）。以下是关于robots.txt的基本知识介绍：

robots.txt在网站中的什么位置

robots.txt位于网站根目录（放在其它位置无效），robots.txt文件路径为：https://您的域名/robots.txt。

如果网站没有设置robots，搜索引擎将默认抓取网站所有页面。如果网站设置了robots，搜索引擎将按照robots设定的规则抓取网站页面。就像是一所房子，如果所有的门都没有上锁，访客就可以自由进出每一个房间。如果某个房间上了锁，访客就无法进入。

某些搜索引擎可能不遵守robots协议，无论robots，还是noindex或nofollow都不是强制性规则。

robots.txt的写法和规则

1. User-agent: *（User-agent:代表搜索引擎协议，*代表所有搜索）
2. Disallow: /?s=*（不允许索引所有带有“?s=”的链接）
3. Disallow: /?r=*（不允许索引所有带有“?r=”的链接）
4. Disallow: /images/（不允许索引“images”目录）
5. Disallow: /index.php?image=*（不允许索引“index.php?image=”的链接）
6. Sitemap: https://example.com/wp-sitemap.xml

robots.txt的一些注意事项

1. Disallow:和/之间需要加一个空格
2. 通常只需屏蔽不允许抓取的路径和文件
3. robots.txt必须放在网站根目录下
4. 请谨慎对待robots（不要随意屏蔽网站目录和链接）