我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
网站运营中专题页面的作用非常大，经常能够看见很多付费推广都把专题页面做落地页，直接打开就能看见，足见一个好的专题页面的重要性了。它可以帮助从不同的角度，或者从某一个优势点去包装我们的产品，好处有很多，如更加具有针对性，能详细的说清楚产品各个优势，嵌套不同的产品文案等。专题页面的类型有很多，不仅仅局限在产品包装上面，我们也可以用来包装一个活动，包装一个品牌形象，或者某一个事件宣传等。今天笔者想和大家
宝马网站的删除并非是由于垃圾信息，而是因为Google的算法更改导致。此外，Google有一套完善的审查机制，不会盲目删除网站。对于国际性的非英语网站，Google同样会进行审核和排名，不会因为语言不同而偏袒某些网站。
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
