1. 银行和金融机构的网站，因为这些网站可能包含敏感信息，例如客户的个人和财务信息。 2. 医疗保健机构的网站，因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站，因为这些网站可能包含受版权法保护的内容。 4. 政府网站，特别是警察局和情报机构的网站，因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站，因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感数据。 6. 个人博客，因为作者可能希望保护他们的个人信息不被未经授权的访问者访问。 7. 与职业有关的网站，例如律师和医生的网站。这是因为这些网站可能包含敏感的行业信息和未经授权的技术数据。
根据以往的SEO工作经验，另搜索引擎头痛的问题，往往是来自过于复杂的网址结构，它让SEO的效果大打折扣，往往事倍功半。当你试图运营一个站点的时候，合理的设计网址结构，看起来十分重要，为此，我们有必要对网址命名规则进行研究。网址命名规则：避免使用复杂网址结构！常见的网址命名规则：1、网址格式统一你是否在IIS下，使用过.woff字体的经历，在使用子目录，嵌套子站点的时候，如果配置不当，往往造成网址出
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记：<meta name="Baiduspider" content="noa
百度各个产品使用不同的user-agent:无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider来源：360站长平台
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
