在申请百度联盟的时候总是失败，原来是因为收录要大于500，建站三个月以上，前面因为备案导致收录全没有了，今天又重新优化一下网站。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。via 维基百科
也许有朋友说，我巴不得搜索引擎多爬些呢，还禁用？事实上，善用robots.txt，可以简单但非常有效的对博客进行优化，我曾搜索了一些关于wordpress 博客 robots.txt写法的文章，但是众说纷纭，有的文章中说一套，可是自己的robot.txt却是另外的写法，实在让人难以信服。无奈之下，只有自己慢慢尝试，下面就望月的robots.txt的写法说一说自己的体会。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Sitemap: http://adophper.com/sitemap.xml
Sitemap: http://adophper.com/sitemap_baidu.xml
Sitemap: http://adophper.com/sitemap.xml.gz
一般wordpress都这样写，大家只要把最后的sitemap中的adophper.com换成你的域名就可以了。
最后推荐一个网站，可以检验robots.txt的书写语法是否正确
robots.txt协议并不是一个规范，而只是约定俗成的，所以，每个搜索引擎遵守robots.txt的方式也不一样，在你修改robots.txt文件时，可以用Google网站管理员工具或者Robots.txt Checker检测一下robots.txt是否符合规范。
生成XML我是使用的插件,请参阅：
wordpress sitemap:Baidu Sitemap Generator和Google XML Sitemaps