为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
清晰的导航系统是网站设计的重要目标，对网站信息架构、用户体验影响重大。SEO也越来越成为导航设计时需要考虑的因素之一。站在用户的角度上，网站导航系统需要解决两个问题。（1）我现在在哪里？用户可能从任何一个内页进入网站，有时候从首页进入，点击多个链接后，用户也忘了是怎么来到当前页面的。导航系统这时候就要清楚告诉用户现在处在网站总体结构的哪一部分。页面设计风格的统一、面包屑导航的使用、主导航系统当前所
canonical标签是页面html代码head部分的一个标签，2009年2月由搜索引擎们推出，主要用于解决网址规范化问题。什么是网址规范化问题？网址规范化一直是困扰站长以及搜索引擎的一个问题。据估计，网上有10%-30%的URL是内容相同但URL不一样的不规范化网址。这就造成几个问题。比如:对站长来说，多个URL存在分散了页面权重，不利于排名。对搜索引擎来说，浪费资源，浪费带宽。搜索引擎发现多个
我不确定你所指的“robots非标准扩展协议”是什么，因为Robot协议是Web爬虫标准协议之一，旨在告诉Web爬虫哪些页面可以爬取和哪些页面不应该被爬取。它是一个标准协议，而不是扩展协议。 如果您能提供更多信息，我可以尝试提供更详细的回答。
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
