Google爬行缓存代理是指一个系统或应用程序，作为一种中间层，扮演缓存服务器的角色，将已抓取的网络页面存储在缓存中，等待后续的请求。在Google上，这个代理系统用于加速用户访问网站的过程，提高网站的响应速度，并减少搜索引擎爬虫的访问量。通过这种方式，Google能够有效地降低网站的负载，并利用缓存的内容来提高用户的搜索体验。Google的爬行缓存代理充分体现了其对网络性能和用户体验的重视，也是其引领搜索引擎行业的一个典范。
1、网站和页面权重。质量高，资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会更多内页被收录。2、与首页点击距离。一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。离首页点击距离近，页面权重越高，被蜘蛛爬行的机会也越大。3、导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道
？ 1. 通过robots.txt可屏蔽Google、Baidu、Bing等常见的网站搜索引擎的抓取; 2. 通过User Agent阻止未知垃圾爬虫或无流量搜索引擎，通过历史行为表明该蜘蛛具有不良意图抓取数据; 3. 通过代理服务器设置黑名单，可以限制不同来源IP的访问； 4. 通过验证码屏蔽爬虫或机器人，使搜索结果不准确、不可用; 5. 通过网络防火墙设置黑白名单，阻止一些特定的网站
尽管搜索引擎在不断的升级算法，但是终究其还是程序，因此我们在布局网站结构的时候要尽可能的让搜索引擎蜘蛛能看的懂。每个搜索引擎蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。搜索引擎蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User－agent，用于标识此搜索引擎蜘蛛的身份。例如Google搜索引擎蜘蛛的标识为GoogleBot，百度搜索引擎蜘蛛的标识为Baidu
