相对路径的优点是：1.节省代码。2.移动内容比较容易，不用更新其他页面上的链接。3.在测试服务器上进行测试也比较容易。相对路径的缺点是：1.页面移动位置，里面链接可能需要改动。2.被抄袭和采集对网站没有任何益处。很多采集软件其实是可以自动鉴别绝对路径和相对路径的，所以使用绝对路径有助于自己的链接也被抄袭到采集网站上，只在某些情况下有效。3.搜索引擎解析URL时可能出错，不能正确读取页面上的链接UR
编者按：前两周简要地给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证spider的可读性。（1）树型结构最优的结构即“首页—频道—详情页”；（2）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重
我不确定你所指的“robots非标准扩展协议”是什么，因为Robot协议是Web爬虫标准协议之一，旨在告诉Web爬虫哪些页面可以爬取和哪些页面不应该被爬取。它是一个标准协议，而不是扩展协议。 如果您能提供更多信息，我可以尝试提供更详细的回答。
我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？User-agent: *Disallow: /index.htm11-30.我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址
