禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 备注：robots.txt只是给蜘蛛提要求，蜘蛛还是会过来，还是会抓取，只是你要求他不会展示出来。就像淘宝也禁止蜘蛛抓取了，不是还有会有吗
最好是上线不限制吧，正常都是要在本地把网站搭建好，调试好，一切都完成后再上线，上线就立马引蜘蛛效果要好一些 ，实在要禁就User-agent: *Disallow: /
