在申请百度联盟的时候总是失败，原来是因为收录要大于500，建站三个月以上，前面因为备案导致收录全没有了，今天又重新优化一下网站。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。via 维基百科
也许有朋友说，我巴不得搜索引擎多爬些呢，还禁用？事实上，善用robots.txt，可以简单但非常有效的对博客进行优化，我曾搜索了一些关于wordpress 博客 robots.txt写法的文章，但是众说纷纭，有的文章中说一套，可是自己的robot.txt却是另外的写法，实在让人难以信服。无奈之下，只有自己慢慢尝试，下面就望月的robots.txt的写法说一说自己的体会。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /...