要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
1、两周剪一次头发2、给家里摆一盆花， 精心照顾3、不给亲戚朋友找工作和借钱4、趁早买房不要买3、4、7、10楼5、一有时间多锻炼身体常跑步7、一定要有一份稳定的副业8、长期用的东西一定要买贵的9、一定要找个好老师带自己进步10、要习惯孤独，无聊就看书学习11、有机会要做生意从小生意开始12、不熟悉的同事办喜事不去凑热闹13、攀比的同学朋友聚会宁可不参心来源：卢松松博客
搜索结果展示的网站描述，不是网站设置的描述标签，怎么办？处理办法：可在本次搜索结果的底部，点击“用户反馈”。如下图：image.如果站点属性工具提交的logo已经审核通过，但是线上结果长时间未展现或展现错误，也是通过以上反馈中心提交反馈。来源：搜外网
亲爱的网站管理员，很高兴的告诉大家，百度站长平台robots工具全新升级，升级后能够实时查看网站在百度中已生效的的robots文件，并支持对robots进行语法及逻辑校验，有助于站长更清晰的管理网站的robots文件，避免错误的封禁搜索引擎。功能亮点：1、实时查看网站在百度中已生效的robots文件内容并可通知百度更新：升级后的robots能够查看网站已生效的robots文件，同时会展现网站最新的
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
