Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
今天再介绍一个黑帽负面SEO的想法：利用canonical标签陷害竞争对手。聊黑帽SEO绝不是建议读者做黑帽，优化正规网站的还是尽量别尝试，风险很大。但了解黑帽SEO方法，一是开拓思路，第二更重要的是，防范别人用负面SEO方法陷害自己。站长们认真观察的话一定会发现，负面SEO的尝试是一直在发生的。我这个小小的、谁也不得罪的SEO博客都经常被人制造巨量垃圾链接、制造大量敏感词搜索页面、刷跳出率等等，
前几天站长社区有站长朋友谈了一下对Canonical标签的看法，认为这是一个与301类似、解决网站内重复页面的好办法。那么我们来谈谈这两者有什么区别，使用Canonical标签时又该注意些什么。【Canonical标签与301的区别】1，在几个网页内容完全相同（或高度相似）的时候，如果希望两个网页都可以被用户正常访问到，就使用Canonical标签；如果仅让用户访问其中的一个，直接使用301跳转更
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
