1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
2019年9月10日，Google官方博客表示，nofollow属性将不再仅代表拒绝传递权重，而将拓展为三种属性：rel="sponsored"、rel="ugc"、rel="nofollow"。 1. rel=”sponsored” 该属性用于标示被广告赞助的链接，例如广告合作，展示商标，赞助商链接等。它是告诉搜索引擎，链接是被广告商赞助，而非独立推荐。 2. rel=”ugc” 该属性
很多读者在问，我的博客帖子里面加的内部链接是怎么弄的？我也发现有一些朋友把我的博客一些文章排名还不错，归功于我博客上的内部链接。我想这是其中的一个原因。今天就解释一下，通常我是怎样在博客帖子里面加站内链接。首先，要说明的是，博客帖子里面的链接完全是人工加上去的就是很老很笨的找到自己博客以前的帖子URL，然后写帖子时加上去。我做网站通常会比较喜欢这种比较笨的办法。每个人的特点不同，我是希望做网站时，
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL,or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以
