Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如您
随着互联网不断发展，网站产生交易量、保留用户数据量大幅增加，信息安全成为非常重要的事情，同时百度已经全面实现了HTTPS，越来越多的站点也开始考虑HTTPS化。最近院长不断接到站点的询问：我们网站也想上全量HTTPS，但担心对线上流量产生负面影响，我们该怎么做才能消取这种影响呢？为此站长平台工程师中伟请教了多位不同领域的Baiduspider工程师后，终于搞清楚了几个问题：问：对于HTTP和HTT
使用死链工具可以帮助你测试网站的安全性，以及识别可能存在的死链问题。下面是使用死链工具的一般步骤： 1. 下载并安装死链工具。有许多免费和付费的死链工具可供选择，例如Xenu's Link Sleuth、GSA SEO Indexer等。选择和下载一个合适的工具。 2. 打开死链工具，并输入你要测试的网站的URL。通常，你只需要输入网站的主页URL即可开始测试。 3. 配置工具的设置。根据你
1. 死链链接：指已经失效的链接，即指向的网页已经不存在或无法访问的链接。 2. 死链前链：指指向死链的链接，即在该链接中包含了已经失效的链接。 3. 锚文本：指点击该文本可以跳转到指定链接的文本，一般是链接所在的文字描述。 4. 发现时间：指发现该死链的时间，一般是指爬虫程序或网站管理员发现该链接无效的时间。
