我的网站拥有几千万个网址;我可以只提交最近更改过的网址吗?
您可以在少数频繁更改的 Sitemap 中列出已更新的网址,然后使用 Sitemap 索引文件中的 lastmod 标记识别这些 Sitemap 文件。
随后,百度即可逐步抓取这些已更改的 Sitemap。
Public @ 2011-06-22 16:11:55
您可以在少数频繁更改的 Sitemap 中列出已更新的网址,然后使用 Sitemap 索引文件中的 lastmod 标记识别这些 Sitemap 文件。
随后,百度即可逐步抓取这些已更改的 Sitemap。
用几个最常见的情况,直接举例说明:1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。2. 禁止所有SE收录网站的某些目录:User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站,例如禁止百度:User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录
sitemap数据提交后,一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
通常情况下,一般会在一天内被百度抓取,但具体时间会因网站规模、更新频率等因素而有所不同。如果您在提交 sitemap 后一周内没有看到任何变化,建议检查您的 sitemap 是否正确并重新提交。
请在 Sitemap 中只列出一种格式的网址。包含多种格式的网址可能会导致抓取工具无法完整地抓取网站。