robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
以前一直没有注意过这方面的东西，PJ官方也一直没有优化过，即使是sitemap语法错了。经过google的抓取工具访问测试robots.txt文件。