Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
1. 在360搜索中输入您的网址，搜索，如果没有搜出结果，说明您的网站未被360搜索收录； 2. 在 360 相关数据查询平台（http://data.se.360.cn/rank/index.html）中输入您的域名，搜索，如果搜索出来有关于您域名的信息，说明您的网站已被 360 搜索收录。
可能有多种原因导致您的网页从搜狗搜索结果中消失，以下是一些可能的原因： 1. 网站的SEO优化不足，导致搜索引擎难以发现和收录您的网页。 2. 网站内容质量不佳，例如存在大量重复、低质量、抄袭内容，可能会被搜狗搜索降权或屏蔽。 3. 您的网站可能被搜狗搜索标记为违规行为，如存在恶意软件、钓鱼网站等，被搜狗搜索屏蔽。 4. 搜狗搜索的算法更新，导致您的网页在搜索结果中排名下降或消失。 5.
近期发现部分网站出现抓取异常情况，主要问题是网站误封了百度UA。为了网站更好获得搜索展现，请各位站长按照以下UA进行排查，避免出现误封问题！移动 UAMozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46(KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatib
建议您使用DNS反查方式来确定抓取来源的ip是否属于百度，根据平台不同验证方法不同，如linux/windows/os三种平台下的验证方法分别如下：5.1 在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.b
