优化？ 1、精简URL：URL尽量精简，易读易懂，例如使用简短的关键字说明页面内容； 2、不使用动态参数：尽量避免使用动态参数或者复杂的URL参数； 3、去除多余的词汇：尽量删除不必要的词，保证URL精简，易读； 4、尽量使用短语汇：URL尽量采用短而且表明词汇类别，如名词、动词等； 5、构建层次：当有一系列相关的页面时，尽量将相关的页面构建成层次关系，这样势必对SEO搜索排名优化有一定的作用； 6、分类标识：在URL中尽量添加一个类别字段来标识，这样爬虫会更加清晰的知道这个页面的内容； 7、小写字母：尽量采用小写字母来构建URL； 8、精准关键字：URL中尽量加入精准的关键字，使搜索引擎能够更好的划分分类找到您的页面； 9、减少参数：尽量减少GET参数，使得每个URL都能被重用，以增加权重的效果。
【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User
编者按：前两周简要地给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证spider的可读性。（1）树型结构最优的结构即“首页—频道—详情页”；（2）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重
URL（Uniform Resource Locator）是用于定位和访问互联网资源的字符串。URL由多个组成部分组成，每个组成部分都提供了关于资源的有用信息。以下是URL的组成部分： 1.协议：协议指定了访问资源的规则和方法。常见的协议有HTTP、HTTPS、FTP、SFTP等。 例如：http://www.example.com 2.主机名（域名）：主机名指定了要访问资源的服务器的名称。通
要在网站URL中显示品牌名称，可以采用以下方法： 1. 建立一个包含品牌名称的域名，例如www.yourbrandname.com。 2. 将品牌名称包含在网站URL的子目录中，例如www.yourwebsite.com/yourbrandname。 3. 使用品牌名称作为网站URL的一部分，例如www.yourbrandname.yourwebsite.com。 4. 在网站的META标
