Categories


Tags


robots协议

 Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除规范”(RobotsExclusionProtocol),网站经过Robots协议通知查找引擎哪些页面可以抓取,哪些页面不能抓取

  是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页,一般只在评论robots的HTML标签或许robots.txt文件的时分运用。


Public @ 2010-10-17 15:26:25

沙盒效应(sandboxeffect)

查找营销专家所运用的非正式姓名,用来描绘Google和其他查找引擎处理新站点的办法,它们会对那些链接盛行度敏捷攀升的网站进行冷处理,网页可以展现它要的内容,但会被放在“沙箱”里边,而对任何查找恳求都不会得到最高排名其后来的盛行度经过一段时刻还坚持不变,或许逐渐上升,那么查找引擎就开端撤销冷处理而且给链接盛行度更高的权重,使得查找排名上升。

Public @ 2013-08-04 15:26:25

360搜索对Robots协议的扩展

360搜索对Robots协议进行了扩展,增加了以下几个指令: 1. User-Agent:用于指定搜索引擎访问网站时使用的用户代理字符串,可以设置多个User-Agent。 2. Crawl-delay:用于指定搜索引擎访问网站时的延迟时间,单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap:用于指定网站的sitemap文件的地址,搜索引擎将通过该文件获取站点

Public @ 2023-05-29 17:00:21

更多您感兴趣的搜索

0.427976s