Categories


Tags


头条搜索站长平台-sitemapindex文件要求

sitemapindex文件根节点必须是<sitemapindex>。

sitemapindex文件编码必须为UTF-8,第一行为: <?xml version="1.0" encoding="utf-8" ?>。

sitemapindex文件禁止使用命名空间,禁止使用规定之外的属性。

sitemapindex文件大小不得超过5M,sitemap节点数量不超过1W。

必须保证sitemap中所有URL可访问,且内容符合XML数据文件规范。

1.XML数据文件规范

数据XML文件的根节点必须为<DOCUMENT>

数据XML文件编码必须为UTF-8,第一行为: <?xml version="1.0" encoding="utf-8" ?>

数据XML文件禁止使用命名空间,禁止使用规定之外的属性。

数据XML单个文件大小不得超过10M(必须满足),item数目不得超过1W。

除根节点之外的其它节点,标签名建议采用英文小写字母及下划线‘_’

数据节点中包含转义字符,请使用CDATA

对于数组型的节点,请在只有一个子节点时保证和多个节点时的结构相同

2.Txt格式规范

Txt文件编码必须为UTF-8

Txt文件大小不得超过10M,每个文本文件最多可包含5w个网址

Txt文件每行都必须有一个网址,网址中不能有换行

Txt文件中不能包含网址列表以外的任何信息

- 必须书写完整的网址,包含http/https

- 必须保证Txt文件中所有URL 可访问,且内容符合Txt数据规范

注意事项

提交的sitemap有作弊嫌疑的url,头条将进行严厉的处罚措施并取消相关权限

头条spider有自身的爬取规则,sitemap只是帮助头条spider更好的收录您的网站,提交sitemap并不会决定网站收录或者排名。

来源:头条搜索站长平台


Public @ 2013-06-03 16:09:47

robots.txt使用教程

robots.txt 是一个文本文件,用于指示搜索引擎爬虫哪些页面可以被抓取,哪些页面不应该被抓取。在建立一个网站时,可以通过 robots.txt 控制搜索引擎爬虫对网站的访问,以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1:新建 robots.txt 文件 在网站的根目录下,新建一个名为 robots.txt 的文本文件。 步骤2:编辑 robots.txt 文件

Public @ 2023-04-18 01:00:34

Apache IIS/.net 制作404页面

Apache制作404页面: 1. 在网站根目录下创建一个名为“errors”的文件夹。 2. 在“errors”文件夹中创建一个名为“404.html”的文件,这将是你的404错误页面。 3. 在“404.html”文件中添加自定义内容,例如:您所寻找的页面不存在或已被删除。 4. 在httpd.conf文件中添加下面的代码: ``` ErrorDocument 404 /errors

Public @ 2023-06-04 16:50:19

站点地图是什么

站点地图是一个网站所有链接的容器。很多网站的连接层次比较深,爬虫很难抓取到,站点地图可以方便爬虫抓取网站页面,通过抓取网站页面,清晰了解网站的架构,网站地图一般存放在根目录下并命名sitemap,为爬虫指路,增加网站重要内容页面的收录。站点地图就是根据网站的结构、框架、内容,生成的导航网页文件。站点地图对于提高用户体验有好处,它们为网站访问者指明方向,并帮助迷失的访问者找到他们想看的页面。站点地图

Public @ 2013-03-27 16:11:51

更多您感兴趣的搜索

0.184523s