360搜索对Robots协议的支持
360搜索支持Robots协议的主要命令,以下为具体说明:
1. user-agent
360搜索各产品的爬虫user-agent为:
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
360搜索支持Robots协议的主要命令,以下为具体说明:
1. user-agent
360搜索各产品的爬虫user-agent为:
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
读者smart问:都说子站包围主站会很有利,想问一下关于子站的问题子站(二级域名)相对于网站的一级目录来说,权威性是不是要大些?搜索引擎是把子站作为独立的一个站来看待?还是也算为一级目录来看待?如果是作为独立的一个站来看待,那主站的内容就少了,那流量会算进主站吗?这是一个很好的问题,要做好搜索引擎优化,就是要在这种细节的地方多下功夫。搜索引擎会把二级域名当作一个独立的站点来看待,也就是说http:
上周有站长朋友在百度站长平台社区提出了一些关于301跳转的问题,我们特别邀请Baiduspider技术专家对此做了解答。在后续与Baiduspider技术专家沟通时,我们又获得了一些信息,今天通过采访的形式将内容传递给更多的站长朋友。问:我设置了301跳转,多久可以生效?答:目前百度无法承诺301跳转的生效时间,因为站长感受到的生效时间会受多因素影响,比如Baiduspider再次抓取这个页面发现
要避免搜索引擎蜘蛛爬取某个页面,可以在robots.txt文件中添加如下指令: User-agent: * Disallow: /index.htm 这样,所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意,这并不代表该页面会从搜索结果中彻底移除,因为即使没有被索引,用户仍然可以在搜索结果中找到该页面。
尊敬的用户: 为了更好地保护您的隐私和内容权益,百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容,以保障您的权益。 更新后的robots协议针对以下内容进行了调整: 1.增加禁止搜索引擎爬取的网页类型,如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置,包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt