这四种情况下，需查询域名或链接的http状态码：
1、域名做了https，需查询http的域名是否301到https的域名上；
2、多个域名解析同一个网站上，需查询次要域名是否301到主域名上；
3、查询老域名内页是否301给新域名的对应内页；
4、查询网站内部死链接，是否正确返回404；
5、查询不带www的域名是否301给带www的域名。
来源：搜外网
关于网站不收录，需要分情况讨论，比如：新站点不收录、产品或者案例页面不收录、新发文章不收录、栏目页面不收录、聚合页面不收录、当天不收录、一周或者一个月不收录、网站被K、降权后恢复不收录等。。。。。不同的情况需要不同的方法去应对。今天科牛就结合自己的经验，分享下我处理这些问题的心得。网站不收录怎么办?5个方法帮你解决! 网站 经验心得 第1张一、新站点，一个月了还没有收录首先需要排除服务器访问慢、被
和解决办法： 一、检查网站技术问题： 1、检查网站可访问性是否正常，包括域名解析问题、网络服务是否可正常访问等； 2、检查服务器的运行状况，如带宽、磁盘空间、服务器软件等，优化改善服务器环境； 3、检查网站的搜索引擎优化情况，查看页面是否配置了正确的meta标签以及有效的关键词； 二、检查竞争对手活动： 1、查看搜索引擎排名情况，确定是否有竞争对手突然排名提升拉高了自己网站的搜索量；
当爬虫程序请求服务器时，如果服务器返回403错误码，则意味着服务器正确地接收了请求，但由于某些原因，服务器禁止该请求的访问。这通常表示访问被拒绝，可能是由于HTTP请求头或身份验证方面的问题。服务器可能会要求用户进行身份验证或者限制用户的访问权限。建议重新检查请求头和身份验证，以确保请求被正确发送并且可以被服务器接受。
HTTP状态码是用以表示网页服务器HTTP响应状态的3位数字代码。各位站长在平时维护网站过程中，可能会在站长工具后台抓取异常里面或者服务器日志里看到各种各样的响应状态码，有些甚至会影响网站的SEO效果，下面百度工程师为大家整理了一些常见的HTTP状态码及处理解决的方法：301：（永久移动）请求的网页已被永久移动到新位置。服务器返回此响应（作为对GET或HEAD请求的响应）时，会自动将请求者转到新位
