我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
1. 检查网站是否被惩罚：首先要确认网站是否被惩罚，可以用Google Search Console或其他SEO工具检查是否有手动惩罚或自动惩罚的信息。 2. 解决技术问题：检查网站是否有技术问题，包括页面加载速度、移动适配性等问题。如果有，及时修复。 3. 更新内容：更新网站内容，添加新的高质量内容，符合SEO要求的内容可以帮助网站恢复权重。 4. 改善用户体验：改善网站的用户体验，包括易
网站美观与否，搜索引擎是不能直接看不到的，因为他抓取是代码。但并不是说，网站美观程度，就不会影响到网站的SEO效果。它是可以通过非常多的特征来判断出网站的美观程度。而且搜索引擎把网站的美观程度，归类到用户体验中。野狼SEO团队今天就来谈一谈，网站的美观在搜索引擎那里怎么进行判定：一、代码是可以透漏一些美观信息的，比如行高、字号等站长资源平台上，百度的工程师们经常会强调的两个事情就是：行高、字号。比
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁I
