站点地图分类
1、sitemap(sitemap.xml,sitemap.txt)这一类站点地图包含了该网站的所有连接,一般提交给爬虫去爬。让搜索引擎去收录网站内容。
2、站点导航,主要是面向访问网站的用户。将网站连接分类,整理后展现在用户面前。
除了解决网址规范化问题,还有很多需要做301转向的情形。比如,为保护版权,公司拥有不同TLD的多个域名:?seowhy.com?seowhy.net?seowhy.org?seowhy.com.cn?seowhy.cn为避免造成大量复制内容,应该选定一个为主域名,如seowhy.com,其他域名做301转向到seowhy.com。网站改版经常需要用到301转向,如页面删除、改变地址、URL命名系统
您可以在少数频繁更改的 Sitemap 中列出已更新的网址,然后使用 Sitemap 索引文件中的 lastmod 标记识别这些 Sitemap 文件。随后,百度即可逐步抓取这些已更改的 Sitemap。