robots使用误区
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
1. 不需要在每个页面都添加robots.txt文件：robots.txt文件只是一份给搜索引擎看的指令，如果不希望搜索引擎从该页面抓取数据，那么每一页都是可以不用添加robots.txt文件的。 2. 不能用于移动设备：robots.txt文件可用于搜索引擎爬虫，但也可以在部分机型的移动设备上进行yu处理，可以用于控制移动设备的蜘蛛爬行进行内容抓取。 3. 不应该将robots保存到公用文件夹：如果存放在公用文件夹，所以网站确实包含多个链接，则所有用到robots.txt文件的页面都将使用同一份robots文件。需要将robots.txt文件放在每个页面的根目录下来避免混淆和混合索引。
链接深度是指一个网站内部链接的层级深度。在一个网站中，主页是深度为0的页面，主页上的链接指向的页面的深度为1，依此类推。深度越大，表示页面与主页之间的链接路径越长。通过了解链接深度可以帮助优化网站结构，提高搜索引擎的抓取效率和用户的浏览体验。
301永久重定向是所有的重定向方法中一种符合搜索引擎规则的重定向方法，其他的重定向还包括302暂时重定向和JS跳转等，这些方式都容易导致URL不规范问题的产生。所以说如果你有多个域名都希望可以让他们访问同一个网站，那就只能将其中一个做为主域名，剩下的其他域名做301永久重定向到这个主域名，只有这样才可以让多个域名都访问一个站点，不会产生重复收录，导致网站被惩罚的现象
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
