我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1. 关键词堆砌：企业网站在进行搜索引擎优化时，往往会过度使用关键词，导致内容不自然，影响用户体验。 2. 缺少高质量的内容：搜索引擎认为高质量的内容对网站排名有很大的影响，如果企业网站没有提供有价值的内容，搜索引擎很可能将其排名降低。 3. 忽视内部链接：内部链接不仅可以提升用户体验，还能帮助搜索引擎爬行网页，优化网站的内部链接结构对搜索引擎排名也有重要的影响。 4. 缺乏外部链接：外部链
哪些情况下，会出现一个网站多个域名？1、购买了核心域名（如：seowhy.com)，同时把小众后缀域名一起买了（如：seowhy.org)，网站建立后，希望把小众后缀的域名一起解析到网站上。2、发现正使用的域名A存在问题，比如一直不收录、不合适、不喜欢，换了新域名B后，仍希望把域名A解析到网站上。3、域名所有权问题或者业务缘故，导致必须给网站启用新域名，希望老域名被转走之前还可以解析一段时间，传递
robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
