robots协议
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除规范”(RobotsExclusionProtocol),网站经过Robots协议通知查找引擎哪些页面可以抓取,哪些页面不能抓取
是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页,一般只在评论robots的HTML标签或许robots.txt文件的时分运用。
Public @ 2010-10-17 15:26:25
死链接是指因为网页被删除、链接被更改等原因,造成访问该链接时出现404错误页面,无法正常访问的超链接。通常死链接会对网站的用户体验和搜索引擎优化产生不良影响,因此网站管理员需要及时找出并修复死链接。
查找营销专家所运用的非正式姓名,用来描绘Google和其他查找引擎处理新站点的办法,它们会对那些链接盛行度敏捷攀升的网站进行冷处理,网页可以展现它要的内容,但会被放在“沙箱”里边,而对任何查找恳求都不会得到最高排名其后来的盛行度经过一段时刻还坚持不变,或许逐渐上升,那么查找引擎就开端撤销冷处理而且给链接盛行度更高的权重,使得查找排名上升。
360搜索对Robots协议进行了扩展,增加了以下几个指令: 1. User-Agent:用于指定搜索引擎访问网站时使用的用户代理字符串,可以设置多个User-Agent。 2. Crawl-delay:用于指定搜索引擎访问网站时的延迟时间,单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap:用于指定网站的sitemap文件的地址,搜索引擎将通过该文件获取站点
User-agent: *Disallow: .jpg$jpg可以代替为gif,png 等等...来源:360站长平台