robots.txt文件放在哪里?
robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
Public @ 2019-06-21 16:09:32
robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
User-agent: *Disallow: .jpg$jpg可以代替为gif,png 等等...
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
要避免搜索引擎蜘蛛爬取某个页面,可以在robots.txt文件中添加如下指令: User-agent: * Disallow: /index.htm 这样,所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意,这并不代表该页面会从搜索结果中彻底移除,因为即使没有被索引,用户仍然可以在搜索结果中找到该页面。