1. 银行和金融机构的网站，因为这些网站可能包含敏感信息，例如客户的个人和财务信息。 2. 医疗保健机构的网站，因为这些网站可能包含个人医疗信息。 3. 艺术、音乐和影片网站，因为这些网站可能包含受版权法保护的内容。 4. 政府网站，特别是警察局和情报机构的网站，因为这些机构的网站可能包含安全敏感信息。 5. 搜索引擎的漏洞报告网站，因为这些网站可能敏感地显示诸如数据库配置、文件位置等敏感数据。 6. 个人博客，因为作者可能希望保护他们的个人信息不被未经授权的访问者访问。 7. 与职业有关的网站，例如律师和医生的网站。这是因为这些网站可能包含敏感的行业信息和未经授权的技术数据。
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
301永久重定向是一种HTTP状态码，使浏览器或搜索引擎知道该网页已永久移动到另一个网址。这种重定向通常用于网站重新设计、更改域名或更改URL结构的情况下。它会直接跳转到新的网址，而不是像302临时重定向那样保留原始URL。301永久重定向可以保持网站的搜索引擎排名和链接值，并帮助用户找到正确的网页，提高用户体验。
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
