Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
如果网页内容（无论是内容还是网页标题或者其他信息）已经更改或者发现搜狗网页快照与您的网页内容不一致，在我们下次抓取网站并刷新索引前，网页快照仍然会包含原有的内容。因而这些内容仍然会出现在搜索结果中，您可以申请更新快照（http://fankui.help.sogou.com/index.php/web/web/index?type=2）来告知搜狗更新快照信息。
可能由以下原因造成：您的网站所在的服务器不稳定，Baiduspider在检查更新时抓取不到网页而被暂时去除。您的网站不符合用户的搜索体验。
对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。
Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方
