我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1. 用户体验：网站设计、页面加载速度、移动友好性等 2. 内容质量：内容长度、原创性、关键词密度等 3. 链接品质：内部链接结构、外部链接数量、链接质量等 4. 社交信任：网站在社交媒体上的活跃度、用户互动等 5. 页面结构：标题标签、描述标签、H标签、ALT标签等 6. 可访问性：网站是否能被搜索引擎爬行、是否存在错误页面等 7. 增值服务：像SSL证书、网站安全、网站备份等服务 8. 地理位
空间服务器的稳定性及速度对SEO是有影响的，但它只是影响排名的一个因素，一般的速度差别对排名影响是不大的。但下列情况会严重影响你网站的SEO排名优化：1、同一IP放置了非法及木马内容。绝大多数站长使用的都是虚拟主机，所以同一服务器下放置几十、上百个站点的情况是经常发生的。由于同一IP的原因，其他网站被搜索引擎处罚可能会影响到你的站点。2、空间速度过慢。速度过慢会造成蜘蛛爬行困难影响搜索引擎对网站的
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
