死链（Dead Link）是指网页上已经失效但仍然出现在超链接中的链接，或者指向网页内的地址。 死链的标准通常有以下几点： 1. 服务器错误或页面不存在：点击链接后页面无法正常打开，出现404等错误页面。 2. 指向过期或已删除的网页：点击链接后打开网页内容已不存在或已过期。 3. 指向被禁止访问的网页：点击链接后无法打开，可能是因为网页被禁止访问或需要权限才能访问。 4. 指向已更改地址的网页：点击链接后出现跳转到新地址的信息，而非直接打开网页。
Sitemap（即站点地图）就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息，如上次更新日期、Sitemap文件的更新频率等，供百度Spider参考。百度对已提交的数据，不保证一定会抓取及索引所有网址。但是，我们会使用Sitemap中的数据来了解网站的结构等信息，这样可以帮助我们改进抓取策略，并在日后能更好
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
网站改版或者网站搬家后，文件移动了位置，导致指向链接变成死链接；曾经存在的页面被删除，对应的链接就是死链接；文件夹名称修改，导致路径错误编程死链；网站还没做好就急于上线，导致大量死链
死链链接：Baiduspider在尝试抓取该网页时，该网页返回了404代码; 目前死链链接只针对协议死链，后续会陆续增加跳转死链和内容死链。死链前链：从该网页经过一次点击即可到达当前死链链接，称该网页为当前死链链接的前链，即死链前链。锚文本：在死链前链这个网页上发现的对应该死链链接的文本信息。发现时间：Baiduspider最近一次抓取该死链链接的时间。来源：百度搜索资源平台 百度搜索学堂
