许多年前，让网站被搜索引擎选中包括填写表格，注册该网站，并手动编辑希望该网站被搜索的关键词，这个过程随着搜索引擎网络爬虫或网络蜘蛛的出现而改变。本文就robots相关内容，做详细的介绍。什么是搜索引擎蜘蛛？搜索引擎蜘蛛是一种自动程序，它沿着从一个网页到另一个网页的链接在互联网上爬行，为内容编制索引并将其添加到数据库中。这意味着，只要网站有一个来自其他网站且搜索引擎已经知道的链接，然后它会找到随着时
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
1. 404 Not Found 2. 410 Gone 3. 403 Forbidden 4. 500 Internal Server Error 5. 502 Bad Gateway 6. 503 Service Unavailable 7. 504 Gateway Timeout 8. 408 Request Timeout.
1、网站改版最容易产生死链的改版之前的页面如果有价值尽量不要删除和修改Url，若需要更换域名或Url分配规则，那一定要将之前的url进行301跳转到对应的Url；若老的数据必须删除，那删除的所有页面Url要进行整理和提交死链。2、对发现的死链接如何处理将收集好的所有死链接粘贴到网站根目录的一个文档中，再把文档地址提交到百度资源平台-搜索服务-资源提交-死链提交--添加新数据--填写死链文件地址；若
