wordpress手动设置robots时404解决

wordpress自从3.0开始是自动添加robots.txt(虚拟的),这样包括所有爬虫已经正常访问都可以访问到根目录下的robots.txt,但是其实这个文件本身并不存在。而且这个虚拟的robots.txt太过简单了,并没有达到想要的效果,所以一般情况下要自己写一个robots.txt然后上传到网站根目录。
一般自己上传的robots.txt在访问的时候却报404,即文件找不到。这事因为虚拟robots.txt的原因,这个时候可以把默认的虚拟robots.txt生成函数注释掉就好了,在wp-includes下面的functions.php中,找到do_robots函数,然后把整个函数注释掉。这个时候就可以正常访问了。

robots.txt的作用蛮大的,一旦写错的话,很有可能影响到搜索引擎的收录。为了防止重复收录,一般禁止收录feed,禁止收录到?的动态页面,禁止收录评论页面的feed,并且在最后最好添加sitemap文件。下面给出了一个例子:

User-agent: *
Disallow: /wp-admin/ 
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
Disallow: /trackback
Disallow: /comments/feed
Disallow: /?s=
Sitemap: http://www.iaccepted.net/sitemap.xml

本文遵从CC3.0协议转载请注明:转自凌风技术站

本文标题:wordpress手动设置robots时404解决

本文链接地址:http://www.iaccepted.net/web/47.html

相关文章



发表评论

电子邮件地址不会被公开。 必填项已用*标注