网站日志是记载web效劳器接收处理恳求以及运行时过错等各种原始信息的以log结束的文件，切当的讲，应该是效劳器日志，网站日志最大的含义是记载网站运营中比方空间的运营状况，被拜访恳求的记载，经过网站日志可以清楚的得知用户在什么IP、什么时刻、用什么操作系统、什么阅览器、什么分辨率显现器的状况下拜访了你网站的哪个页面，是否拜访成功。
在网站效劳器上的一个文件，作为效劳器所履行的每个操作的记载，日志文件可以在经过很杂乱的办法来进行剖析，来测定网站访客的数量（依照人以及依照查找引擎的蜘蛛程序），以及他们所阅览的网页数量
- https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%85%B3%E9%93%BE%E6%8E%A5 - https://developer.mozilla.org/zh-CN/docs/Learn/Server-side/First_steps/Relational_databases - https://blog.csdn.net/minganzhang/a
如果页面已经被抓取并且已经收录在搜索引擎的数据库中，那么搜索引擎可能会更新该页面的索引，以反映新的内容。但是，如果页面被抓取但尚未收录，则需要等待搜索引擎对页面进行评估和选择是否收录。因此，能否收录页面取决于搜索引擎的算法和实际情况。
页面显示被抓取，只能证明过，蜘蛛访问过这个页面，不代表一定会被收录。 同时，无论新老链接，搜索引擎都会对其进行抓取，至于能否收录：1、如果不被抓取，肯定不会被收录。2、抓取了不一定会收录，搜索引擎对于收录的评估，是多维度的。来源：A5营销
