这四种情况下，需查询域名或链接的http状态码：
1、域名做了https，需查询http的域名是否301到https的域名上；
2、多个域名解析同一个网站上，需查询次要域名是否301到主域名上；
3、查询老域名内页是否301给新域名的对应内页；
4、查询网站内部死链接，是否正确返回404；
5、查询不带www的域名是否301给带www的域名。
来源：搜外网
日志记录并不是搜索引擎收录的直接因素，因此页面被抓取并不代表会被收录。收录与抓取相关，但并不完全取决于抓取。搜索引擎根据页面内容的质量、权威度、更新频率等多方面因素进行评估，如果页面符合搜索引擎的收录标准，才有可能被收录。
Matt Cutts在谷歌的一次采访中谈到了总体搜索质量和新的基础架构的问题。 他认为，谷歌一直在不断改进其搜索算法和质量评估方法，以便能够更好地为用户提供相关的搜索结果。此外，谷歌还在研究和改进搜索结果的呈现方式，使它们更易于理解和使用。 除此之外，Matt Cutts还提到了谷歌正在开发一种新的基础架构，以更好地支持其搜索和其它服务。这个新的基础架构将采用更先进的技术和系统，以提高谷歌的性
503状态码表示服务器暂时无法处理请求，常见的原因有服务器过载、维护或升级等。与防止网页被删除的关系不太直接，但可以理解为服务器因某种原因暂时无法提供网页内容，因此用户无法访问网页。通常情况下，当服务器恢复正常后，状态码会变为200或其他合适的状态码，用户就可以正常访问网页了。
点 HTTP状态代码是指网站服务器对用户请求的响应结果。根据不同的HTTP状态代码，搜索引擎可以了解网页更新的频率，以及网页存在的情况，从而判断是否应该继续Crawl你的站点： HTTP 200：这是最常见的状态码，表示请求成功。搜索引擎会解析服务器返回的网页内容，并继续向您的站点爬取其他页面。 HTTP 301/302：这些状态码表示链接已经更改，搜索引擎会更新当前网页的链接，并继续爬取新
