要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
前不久看到李国威老师的一篇文章“公关部的第一职能是什么？”，其中提到一线公关人最大的烦恼是老板，颇有感触。有一种KPI叫老板可见度，比如老板的朋友圈，老板的百度首页，公关有时候会迫于满足“老板的期待”，刚发了一篇新闻稿，老板可能会马上来问，为什么搜公司的名字百度首页还看不到，为什么稿子发出了百度指数还没变化？最近写了一篇关于百度指数的文章，详解七大问题，用“百度指数”衡量公关的效果靠谱吗？ 也陆续
最近接到了一些SEO优化的单子，本应该是一件“喜极而泣”的事情；大家应该都清楚一个问题，随着SEO行业的发展，用户的需求越来越精确，并且也存在目标明朗但要求苛刻的情况。因此，在今年开展的所有SEO的方案，我都在尽可能的让“用户体验”这个词嵌入我的脑海里。但实际情况是，我身在东莞，这里的SEO并不是没有，但是部分企业对这块其实并没有多少概念。那些跟我对接企业SEO文案的人经常问：“怎么我在你的软文上
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
尊敬的用户： 为了更好地保护您的隐私和内容权益，百度搜索已经全新升级了robots协议。该协议将更加严格地限制搜索引擎爬取您的网站内容，以保障您的权益。 更新后的robots协议针对以下内容进行了调整： 1.增加禁止搜索引擎爬取的网页类型，如登录页、支付页、个人信息页等。 2.增加网站所有者对搜索引擎爬取的细节设置，包括最大爬取频率、爬取深度、爬取延时等。 3.优化 robots.txt
