360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点的所有URL。 4. Host：用于指定网站的主机名，可以避免因为DNS变化导致搜索引擎爬虫无法访问网站。 5. Clean-param：用于指定需要从URL中移除的参数，搜索引擎在访问网站时会忽略URL中包含的这些参数。 6. Noindex-nofollow：用于指定不需要被搜索引擎收录或链接的页面。 这些指令的使用可以让网站管理员更加灵活地控制搜索引擎爬虫的访问行为，以达到更好的SEO效果。
1. 链接分类 将链接分为主要链接和次要链接。主要链接包括页面的主要导航链接、重要内容页面链接等，次要链接包括页脚链接、侧边栏链接等。主要链接应该占据网站内部链接总数的绝大部分，次要链接数量较少。 2. 内部链接锚文本 内部链接锚文本应该描述被链接页面的内容，而非简单地使用诸如“点击这里”等通用词汇。这有助于提高页面的信息结构和搜索引擎的理解。 3. 内链关联 通过内链将相关页面的内容链
2019年9月10日，Google宣布将不再将nofollow标签视为“组织不相信或不支持链接的其它公开声明”。 以前，nofollow标签用于指示搜索引擎不要追踪某个链接，并将其对网页排名的权重减少，以防止垃圾信息和不良链接的滥用。然而，这一变化将重新定义nofollow标签的作用。 根据Google的新规定，nofollow标签将被视为“建议搜索引擎不要给链接传输排名信号的提示”。这意味着
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
