| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
301重定向是一个常用的SEO技术，它能把旧的网址自动转向新的网址，使搜索引擎能顺畅地找到新的内容及其链接。301重定向可以有效地保持网站的权重。以下是一些集中权重的方法： 1. 将所有旧的网址都重定向到新的网址，这将帮助搜索引擎找到最新和最重要的内容。 2. 更新您的Sitemap并提交给搜索引擎，以使它们能够快速和准确地索引您的新网址和内容。 3. 确保您的内部链接指向最新的网址，这样搜
要在网站URL中显示品牌名称，您需要使用SEO优化的最佳实践和技术，例如： 1. 在网站URL中包含品牌名称。例如，如果品牌名称是"ABC"，则可以将URL设计为：www.example.com/ABC/product-name。 2. 使用301 重定向从旧URL到新URL，以确保搜索引擎能够正确地索引和显示您的品牌名称。 3. 在Meta标签中包含品牌名称，并确保它与网站内容相关且自然。
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
