我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
广大草根站长们，如果你不想过劳死，如果你不想未老先秃顶，如果你不想年纪轻轻就已经挺起将军肚犹如十月怀胎。那么你最好认真看完这篇文章。无限博客说的好：不懂得珍惜自己身体的站长不是好站长。虽然这篇文章中不会有什么“干货”，但它却可能真正让你受益终生。其中的道理，不用我说，你肯定明白。接下来我会从工作和生活两方面，分别阐述一些有关健康的经验和需要注意的地方。这些经验不仅适合站长，也适合所有“靠电脑为生”
百度和谷歌的SEO优化到底有什么区别?这个问题是客户或者SEO新手们最常问的热门问题之一，可大部分的时候我们得到的答案就像：百度和谷歌SEO基本没有什么区别;只要专注于内容，做好链接，完善用户体验，排名自然会上去。可是别人会继续追问：“那为什么我的网站在谷歌排名很好，在百度排名很差呢?”“为何百度和谷歌搜索结果上的内容80%以上都不相同?”这些情况不是个例，你很容易被问到这样的问题，作为专业的SE
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
