问
sitemap里爬出了心中链接，要将它改成静态的吗？
使用sitemap工具，生成了sitemap，里面有大量的转码链接，这些链接都是tag页的。
11-8.
应该是TAG和html之间的这个应该是调用的什么东西，在浏览器里会变成中文。
sitemap里不用改，这个可以吗？
像这样 html结尾的，就是静态页面。
在sitemap里，就是这个地址。 浏览器里是显示为中文
E6%AF%8D%E5%A9%B4%E8%AF%81 这个东西被浏览器解析为中文。
这样是没有关系的，也可以选择不在sitemap里放tag页面的链接。
不在sitemap影响不大。tag可以通过页面引导来收录。主要把页面放入sitemap。
来源：搜外网
在今日头条中，根据用户输入的关键字进行搜索，系统针对关键字进行多维度搜索，内容形成聚合后，统一展示给用户。同时，今日头条采用了多种Robot来爬取和抓取用户的相关关键字，然后精确的匹配给用户，技术上主要是Robot学习算法，和文本分析算法。 Robot算法主要是爬取网站上的关键字，并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配，优化搜索效果。Robot算法也可以
关于网站的URL设计，虽然很少有人问到院长，但是，院长却见过了各种各样五花八门的URL，现在，院长和大家聊聊什么是友好的URL设计1、在搭建网站结构、制作URL时，尽量避开非主流设计，追求简单美即可, 越简单越平常，越好2、不建议URL中含有中文字符，中文字符容易出现识别问题3、URL长度要求从www开始到结束，总长度不超过1024个字节4、避免无效参数，如ll等5、谨慎使用#参数，有可能会被爬虫
真实有效站点地图的主要目的是方便搜索抓取的，如果地图存在死链或坏链，会影响网站在搜索引擎中网站权重的，所以要仔细检查有无错误的链接地址，提交前通过站长工具，检查网站的链接是否有效。简化站点地图不要出现重复的链接，要采用标准W3C格式的地图文件，布局要简洁，清晰，如果地图是内容式地图，每页不要超过100内容个链接，采用分页的形式，逐一开来。更新建议经常更新站点地图，便于培养搜索爬虫爬行的频率。经常有
ETag（Entity Tag）是HTTP协议中的一个头部字段，用于标识资源的某个版本。 ETag的作用主要有以下几点： 1. 缓存控制：当客户端请求一个资源时，服务器可以通过ETag来判断资源是否发生了变化。如果ETag与客户端提供的If-None-Match头字段一致，说明资源没有发生变化，服务器可以返回一个304 Not Modified状态码，告诉客户端可以使用本地缓存的副本，从而节省带
