为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
百度一直致力于将优质内容索引并呈现给搜索用户，因此百度站长平台推出了Sitemap工具，网站可通过该工具将优质资源主动反馈提交给百度站长平台，加强百度对优质资源的收录，优化收录效果。Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页，包括百度通过传统抓取方式可能找不到的网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次
单个Sitemap 应该小于 10MB（10,485,759字节），所包含的网址数最多为 50,000 个。如果您网站包含的网址超过 50,000 个或您的 Sitemap 超过 10MB，则需要创建多个 Sitemap 文件，并且需要使用 Sitemap 索引文件。Sitemap 索引文件应该小于 10MB（10,485,759字节），且最多可以包含1000个sitemap。
在今日头条中，根据用户输入的关键字进行搜索，系统针对关键字进行多维度搜索，内容形成聚合后，统一展示给用户。同时，今日头条采用了多种Robot来爬取和抓取用户的相关关键字，然后精确的匹配给用户，技术上主要是Robot学习算法，和文本分析算法。 Robot算法主要是爬取网站上的关键字，并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配，优化搜索效果。Robot算法也可以
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
