乐予博客下面是WordPress网站的robots.txt内容模板：
User-Agent: * （*星号，表示允许所以的搜索引擎蜘蛛）
Disallow: /wp-admin/ （disallow 表示不允许，不允许爬取/wp-admin/核心文件目录)
Disallow: /wp-includes/ （不允许爬取/wp-includes/核心文件目录)
Disallow: /wp-content/plugins （不允许爬取wordpress插件目录)
Disallow: /wp-content/themes （不允许爬取wordpress主题目录)
Disallow: /private-page/ 可用于阻止特定的私密或不希望被索引的页面。
Disallow: /*?* （不允许蜘蛛爬取URL中带问号的链接)
Disallow: /*&* （不允许蜘蛛爬取URL中带&的链接)
Disallow: /*.rar （不允许蜘蛛爬取rar后缀的文件)
Disallow: /*.zip （不允许蜘蛛爬取zip后缀的压缩文件)
Sitemap: http : //wanlimm . com/sitemap.html （引导蜘蛛爬取网站静态地图)
Sitemap: http : //wanlimm . com/sitemap.xml （引导蜘蛛爬取sitemap网站地图)
上面就是robots.txt 规则参考写法。
robots.txt要怎么写？我们都要根据自己网站情况，做出相应的修改。
