Categories

Tags

搜索引擎自己应该是可以检测协议死链（404、403等）的，为什么还需要站长提交？

因为，搜索引擎对各类网页的抓取过程可能存在不可抗力的因素，比如网络延迟、缓存策略、主机垮掉等，可能会导致抓取异常，无法正常检测死链。这时就需要站长通过提交，及时通知搜索引擎，让其及时发现并修复死链。

 Public @ 2023-03-03 04:48:09

robots使用误区

1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用

 Public @ 2023-03-03 14:00:19

我希望我的网站内容被百度索引但不被保存快照，我该怎么做？

我希望我的网站内容被百度索引但不被保存快照，我该怎么做？Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可

 Public @ 2014-06-20 16:08:58

更多您感兴趣的搜索

0.452758s