为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
404页面的目的是：告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。很多开源系统如CMS系统、Blog系统等不提供404页面或提供的404页面并未达到SEO的要求，这让网站的权威性大打折扣。404页面该达到怎么样的效果才符合SEO要求？搜索引擎通过HTTP状态码来识别网页的状态。当搜索引擎获得了一个错误链接时，网站应该返回404状态码，告诉搜索引擎放弃对该
答：搜索引擎的蜘蛛的确是能够对404页面进行识别，但是蜘蛛去被动的识别网站的死链可能需要较长的时间，不利于网站及时清理在搜索引擎中已收录的死链，所以我们才在站长平台设置了死链提交功能。请站长在处理站点死链的时候，一定要注意收集整理好，然后前往站长平台进行提交。提交后，一旦验证死链真实性，将会比较快速地从搜索引擎删除提交的数据。提交链接：http://zhanzhang.so.com/?m=Dead
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用
