网站的robots.txt文件在哪

2024年11月20日 01:51
有1个网友回答
网友(1):

所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫WEB或者www文件夹
robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。
位于子目录中的robots.txt文件无效,因为漫游器只在域的根目录这个文件。
例如,http://www.baidu.com/robots.txt是有效位置。
但是,http://www.baidu.com/mysite/robots.txt不是。