第一，一个Sitemap文件包含的网址不得超过 5 万个，且文件大小不得超过 10 MB。如果您的Sitemap超过了这些限值，请将其拆分为几个小的Sitemap。这些限制条件有助于确保您的网络服务器不会因提供大文件而超载。
第二，一个站点支持提交的sitemap文件个数必须小于5万个，多于5万个后会不再处理，并显示“链接数超”的提示。
第三，如果验证了网站的主域，那么Sitemap文件中可包含该网站主域下的所有网址。
第四，搜索资源平台sitemap文件提交已不再支持索引型文件形式，历史提交的索引型文件已不再进行抓取，建议站长及时删除，重新进行资源提交。
来源：百度搜索资源平台 百度搜索学堂
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
URL是一个网站标识符，它由多个组成部分组成。下面是有关每个URL组成部分的指南： 1. 协议：URL使用的网络协议。常用的协议是HTTP、HTTPS、FTP、SSH、TELNET等。 2. 主机名：URL指向的主机的名称或IP地址。例如，www.example.com或192.168.1.1。 3. 端口号：指定与主机通信的端口号。如果没有指定端口号，则使用默认端口号。 HTTP的默认端口
sitemap异常原因解释解决方法爬虫被封禁可能是您的网站对Bytespider的UA或IP进行封禁建议您根据我们公布的UA和IP进行解封，第二天重新抓取之后会恢复正常sitemap文件数据量过大可能是您的sitemap节点数量超过了5w个建议您拆分为几个小的sitemap文件sitemap地址非法可能是您的sitemap地址不可访问或者存在xml和txt混合模式的数据建议您按照我们的要求提交si
Sitemap是一个XML文件，它列出了您网站上所有页面的URL，以帮助搜索引擎更好地了解您的网站结构并进行索引。它包含了您网站上所有可供搜索引擎抓取的页面、图片、视频等的元数据。Sitemap可以帮助搜索引擎更快更准确地索引您网站的内容。
