Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
搜索方式是搜索引擎的一个关键环节，大致可分为四种：全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎，它们各有特点并适用于不同的搜索环境。所以，灵活选用搜索方式是提高搜索引擎性能的重要途径。全文搜索引擎是利用爬虫程序抓取互联网上所有相关文章予以索引的搜索方式；元搜索引擎是基于多个搜索引擎结果并对之整合处理的二次搜索方式；垂直搜索引擎是对某一特定行业内数据进行快速检索的一种专业搜索方式；目录搜索引
如果您投诉的网页搜索内容没有处理，有可能是以下原因：1. 您投诉的页面为正常页面，不违规2. 您没有提供相关资质3. 您提供了相关资质，但资质不齐全或者不清晰导致无法判断请您登录投诉时的账号或提交投诉时填写的邮箱，仔细查看具体回复，找到原因。
要让网站已经收录的无关页面彻底不再被收录，可以按照以下步骤进行操作： 1. 在搜索引擎的Webmaster工具中提交网站地图（sitemap），确保所有需要收录的页面都已包含在网站地图中。 2. 对于想要排除的页面，可以通过robots.txt文件来限制搜索引擎的访问。在robots.txt文件中添加适当的Disallow规则，指定不希望被搜索引擎收录的页面或目录。例如，如果想要排除某个目录，
站长常常会告知我们搜索结果不显示他们的网站，但其实这些网站仍然收录在搜索结果当中。要判断搜狗是否已经收录您的网站，可以通过执行site语法查看，直接在搜狗搜索框中输入site:您的域名，如site:www.sogou.com，如果可以查询到结果，那您的网站就已经被搜狗收录。 site语法得到的搜索结果数，只是一个估算的数值，仅供参考。如果您的网站曾经被收录，但现在site语句仍然无法查找到，则可能
