问
sitemap里爬出了心中链接，要将它改成静态的吗？
使用sitemap工具，生成了sitemap，里面有大量的转码链接，这些链接都是tag页的。
11-8.
应该是TAG和html之间的这个应该是调用的什么东西，在浏览器里会变成中文。
sitemap里不用改，这个可以吗？
像这样 html结尾的，就是静态页面。
在sitemap里，就是这个地址。 浏览器里是显示为中文
E6%AF%8D%E5%A9%B4%E8%AF%81 这个东西被浏览器解析为中文。
这样是没有关系的，也可以选择不在sitemap里放tag页面的链接。
不在sitemap影响不大。tag可以通过页面引导来收录。主要把页面放入sitemap。
来源：搜外网
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
以下是一些使用robots.txt文件的技巧和最好的做法： 1. 不要放弃robots.txt - 一些网站管理员没有robots.txt文件，因为他们认为这是保护网站的安全措施，但事实上它可能会影响搜索引擎爬取。 2. 维护一个更新的robots.txt文件 - 确保您的robots.txt文件不是过时的。如果您从网站上删除了某些页面或文件夹，请务必更新文件以反映更改。 3. 不要使用ro
1. 用所需软件打开网站： 打开一个文本编辑器，比如 Notepad 或者 Sublime Text，用来编辑 xml 文件； 2. 组织网站地图： 列出网站中每一个页面的具体地址，用符号 * 表示页面间的关联结构； 3. 用 xml 标准编写网站地图： 将网站地图的内容按照 xml 的规范编写； 主要的元素有，<urlset>，<url>，
Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次更新日期、Sitemap文件的更新频率等，供百度Spider参考。百度对已提交的数据，不保证一定会抓取及索引所有网址。但是，我们会使用Sitemap中的数据来了解网站的结构等信息，这样可以帮助我们改进抓取策略，并在日后能更好
