wordpress网站的robots规则文件模板？-乐予博客

下面是WordPress网站的robots.txt内容模板：

User-Agent: * （*星号，表示允许所以的搜索引擎蜘蛛）

Disallow: /wp-admin/ （disallow 表示不允许，不允许爬取/wp-admin/核心文件目录)

Disallow: /wp-includes/ （不允许爬取/wp-includes/核心文件目录)

Disallow: /wp-content/plugins （不允许爬取wordpress插件目录)

Disallow: /wp-content/themes （不允许爬取wordpress主题目录)

Disallow: /private-page/ 可用于阻止特定的私密或不希望被索引的页面。

Disallow: /*?* （不允许蜘蛛爬取URL中带问号的链接)

Disallow: /*&* （不允许蜘蛛爬取URL中带&的链接)

Disallow: /*.rar （不允许蜘蛛爬取rar后缀的文件)

Disallow: /*.zip （不允许蜘蛛爬取zip后缀的压缩文件)

Sitemap: http : //wanlimm . com/sitemap.html （引导蜘蛛爬取网站静态地图)

Sitemap: http : //wanlimm . com/sitemap.xml （引导蜘蛛爬取sitemap网站地图)

上面就是robots.txt 规则参考写法。

robots.txt要怎么写？我们都要根据自己网站情况，做出相应的修改。