| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
百度推出了移动Sitemap协议，用于将网址提交给移动搜索收录。百度移动Sitemap协议是在标准Sitemap协议基础上制定的，增加了<mobile:mobile/>标签，它有四种取值：<mobile:mobile/> ：移动网页<mobile:mobile type="mobile"/> ：移动网页<mobile:mobile ty
网站为什么会有死链呢?由于网站在设置链接出现错误或者原来的链接的网站出现改版链接变更，或者链接的内容被删除都会出现死链，死链也就是打不开的链接。死链首先对用户体验极不友好，容易使得网站用户停留时间变短，对网站不信任，对于搜索引擎来说也是不友好的，过多的死链会被搜索引擎惩罚降权，情节严重的话该站点还有可能会直接被K掉。既然死链这么不好，那么应该怎么处理呢?对于哪些因为网站改版、页面被删除而造成的死链
头条搜索Robots匹配说明是指在头条搜索过程中，搜索引擎会先根据用户的搜索关键词和搜索历史等信息，匹配出相关内容并展示给用户。而在这个过程中，搜索引擎会使用一种名为Robots的自动化程序来对网站进行定期的抓取和索引，以保持搜索结果的实时性和准确性。Robots程序会自动遵循搜索引擎协议和规则，对网站进行扫描和抓取，同时遵循相关网站的robots.txt文件中的规则来限制抓取行为。因此，网站发布
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
