高分悬赏,最近百度蜘蛛经常抓取状态码500的页面(wordpress中的"你无权浏览草稿")应该怎么解决。

2024年11月19日 09:34
有1个网友回答
网友(1):

设置Robots.txt限制百度蜘蛛爬行改路径就可以了。
例:User-agent: *
Disallow: /admin/
Disallow: /images/