为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
网站出现多个不规范网址会给搜索引擎收录和排名带来很多麻烦。网址规范化造成的几个问题：?CMS系统在不同地方链接到不同的URL，分散了页面权重，不利于排名。?复制内容过多，搜索引擎可能认为有作弊嫌疑。?外部链接也可能指向不同URL，分散权重。?搜索引擎把资源花在收录不规范的网址上，留下给独特内容的资源就减少了。?搜索引擎判断的规范化网址不是站长想要的那个网址。来源：搜外网
经常会碰到这样的情况，其他网站链接你的站点时，会用下面的链接：www.example.comexample.com/www.example.com/index.htmlexample.com/index.php而这样导致：你站点主域名的PR值分散到其他几个URL上。如果你用301重定向把其他三个URL转到www.example.comPR也就集中在主域名：www.example.com 了。301
1. 什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当
非标准扩展协议是指为特定需求而开发的协议，它们不是由标准化组织或工作组所制定的，并且通常只在特定的应用程序或系统内部使用。 在机器人领域，非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如，某些机器人可能需要与其他设备进行协同工作，因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时，非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如，一些机器人应用
