搜索引擎基本结构一般包括：搜索器、索引器、检索器、用户接口等四个功能模块。
1、搜索器：
搜索器也叫网络蜘蛛，是搜索引擎用来爬行和抓取网页的一个自动程序，在系统后台不停歇地在互联网各个节点爬行，在爬行过程中尽可能快的发现和抓取网页。
2、索引器。
它的主要功能是理解搜索器所采集的网页信息，并从中抽取索引项。
3、检索器。
其功能是快速查找文档，进行文档与查询的相关度评价，对要输出的结果进行排序。
4、用户接口。
它为用户提供可视化的查询输入和结果输出的界面。
当您使用百度搜索出现上述情况时，极有可能是您被 “ 劫持 ” 了。 解决方案：1、建议您尝试加密连接https://www.baidu.com 进行搜索，看看问题是否依然存在。（1）需要注意的是，如果您的 IE 浏览器版本较低，比如在 IE8 及以下版本的浏览器中，是无法通过 https 加密链接使用百度服务的。（2）我们强烈建议您对 I
搜狗搜索暂不支持内容删除，只能通过请求原网站管理者来帮助你删除相关内容。如若网站管理者拒绝帮助，建议你可以尝试举报搜狗，详情可访问搜狗官网，在网页底部找到“服务与反馈”一项，可以尝试进行举报处理。
一位读者在蜘蛛抓取配额是什么这篇帖子留言：不对呀，这个index标签，是指告诉蜘蛛可以抓取该页面，那么noindex不就是不允许抓取该页面吗？！那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。”留言说明，这位读者并没有太明白什么是抓取，什么是索引，index和noindex标签的意义又是什么。
搜索引擎优化（SEO）是搜索引擎有好的收录网页的过程，适当的SEO有利于蜘蛛爬行你的网站，使你的内容符合搜索引擎算法，以便确认它与关键词高度相关。优化的目的就是使网页的内容便于蜘蛛理解，下面我就以百度新收录的一篇内容来进行说明，我以一个完整标题进行搜索，其目的是能反映出更多关键词在百度自然搜索的结果页面，能更好的说明搜索引擎是如何抓取你的网页的。搜索引擎如何抓取你的网页 网站优化 SEO优化 SE
