清心语轩

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

以前一直没有注意过这方面的东西，PJ官方也一直没有优化过，即使是sitemap语法错了。经过google的抓取工具访问测试robots.txt文件。[quote]第 9 行：/sitemap.asp语法有误[/quote]  这次我决定自己优化robots.txt文件，按照自己的意愿。

先附上原始的版本，即PJ官方发布的:

User-agent: *
Disallow: /404.asp
Disallow: /blog*.asp
Disallow: /register.asp
Disallow: /login.asp
Disallow: /search.asp/sitemap.asp

下面是我优化之后的robots.txt文件:

#
# robots.txt for Lukeer
#
User-agent: *
Allow: /
Disallow: /BackUp/
Disallow: /blogDB/
Disallow: /blogedit.asp
Disallow: /blogpost.asp
Disallow: /register.asp
Disallow: /member.asp
Disallow: /login.asp
Disallow: /control.asp
sitemap: https://www.lukeer.cn/Sitemap.xml

这里我先说明一下，在robots.txt文件中先加入allow规则是有相当必要的。另外原先的规则中拒绝了bloglink.asp文件的收录，非首页的友链对于搜索引擎已经基本没有意义了。我还修改了sitemap的书写方式。