搜索引擎蜘蛛可以简单的理解为页面信息采集工具，不需要人工去采集，它会自动根据URL链接一个一个爬行过去，然后再抓取页面的信息，然后再存到服务器的列队中，为用户提供目标主题所需要的数据资源，搜索引擎蜘蛛不是所有的页面都会抓取的，主要有三个原因：一是技术上的原因。二是服务器存储方面的原因。三是提供用户搜索数据量太大，会影响效率。
所以说，搜索引擎蜘蛛一般只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。我们在做网站的时候可以多做一些链接，然后让搜索引擎可以顺着各个链接爬行到你的网站，对你的网站页面进行信息采集。
来源：A5营销
网络爬虫（又被称为网页蜘蛛，网络机器人，查找引擎蜘蛛，在FOAF社区中心，更常常的称为网页追逐者），是一种依照必定的规矩，主动的抓取万维网信息的程序或许脚本，别的一些不常运用的姓名还有蚂蚁，主动索引，模拟程序或许蠕虫
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。如何查看网站被百度抓取的情况？查看日志的方式：通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同，不
一般用在网站被挂马以后，直接访问没有问题，可以通过模拟百度或其他搜索引擎来访问，即可发现问题。比如下面的例子，直接访问没问题，使用模拟搜索引擎访问即可发现问题。比如访问一个针对搜索引擎挂马的网页：http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效]，这样就可以看到被挂马的情况。（默认情
搜索引擎蜘蛛劫持是seo黑帽中常用的一种手法,需要一定的技术支持getshell,然后上传恶意的代码到网站根目录下面或者修改网站的一些文件，搜索引擎蜘蛛劫持的原理就是判断来访网站的是用户还是蜘蛛,如果是蜘蛛就推送一个事先准备的恶意网站,如果是用户就推送一个正常的网页1：蜘蛛判断判断访问的是用户还是蜘蛛,如果是用户就推送一个正常网页,如果是蜘蛛就推送一个恶意网页，判断方式有两种,一种是判断蜘蛛的UA
