我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
百度一直不收录新站的诊断，从这四个方面：1、查询域名历史，确保没被拉黑。如果这个域名之前被人用来做了灰色行业，则可能被百度等搜索引擎拉入黑名单。查看域名历史的查询工具：https://didi.seowhy.com/history.html2、进入百度搜索资源平台，确保抓取诊断正常。对首页、1-2个栏目页面、任选5-10个内页进行抓取诊断。确保能够成功抓取，并返回200。3、检查robots.tx
如果你还是一个SEO新手，对网站优化还不是太熟悉，又想快速去做网站的优化工作，不知道从哪些方面去分析其他网站的SEO技术水平？今天整理一些分析方法希望对你有帮助。如何分析一个网站的SEO技术水平？1、三个标签写法标题标签、关键词标签、描述标签的写法，可以通过查看源代码，判断网站是否摆放了大量的关键词。2、首页关键词密度首页关键词密度建议在5%-8%。3、次导航当网站内容收录量比较多，次导航可以起到
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
