搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于互联网上的一门检索技术，它指在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。
搜索引擎发展到今天，基础架构和算法在技术上都已经基本成型和成熟。搜索引擎已经发展成为根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。
1. 在Robots.txt文件中添加抓取禁止索引指令：User-agent: Baiduspider ，Disallow: / 2. 在网站抓取反馈页面中禁止百度抓取：yu 抓取反馈页面 -> 新建反馈 -> 选择不抓取，并选择“所有搜索引擎” 3. 使用noindex标签，添加noindex标签meta可以明确地告知搜索引擎不抓取你的页面：
怎样做SEO有利于搜索引擎索引收录，即如何构建便于搜索引擎识别、索引、展现的移动网站。以下将从域名、服务器、加载速度、站点结构、URL结构、PC站与移动站适配、网站被动抓取、网页筛选建库8个方面来分别讲解：1、域名与PC网站一样，域名越短越好。一个好的移动域名，不仅容易记忆、易于输入，还能方便用户向其他人推荐。短并且具有语义化特性的域名让用户更直观地了解网站主旨。2、服务器域名选好了之后，就要配置
一月份时，Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子：What Crawl Budget Means for Googlebot，讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说，这是个颇为重要的SEO问题，有时候会成为网站自然流量的瓶颈。今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容，以及我自己的一些案例
