要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
最近遇到很多seoer都这样说，我刚做的网站怎么已经过了一个月都没收录，而且就连首页都没有收录。其实这是我们很多站长经常遇到的问题，那这是什么原因导致的呢?我们又该怎么处理呢?接下来我为大家详细述说下这其中的道理。新上线的网站一个月都没有被搜索引擎收录，那么我们首先要看一下蜘蛛有没有抓取过网站，这时就分为二种情况了：一、当蜘蛛没有抓取网站这是比较常见的情况，新上线的网站本身家底就比较薄弱，根本没有
所谓“恶意转载”，指的是一些不合常规和不文明的转载行为。包括批量的转载很多文章，通过程序自动转载，转载后删除署名或者原文的链接等等，很多博客都遇到过这种情况，大量的不注明出处的转载，会使得原创作者处于非常尴尬的处境，辛苦创作的文章得不到应有的回报。下面我就介绍一些针对这类恶意转载的应对措施。通过技术方式提醒增加这样一段JavaScript代码，当别人复制你文章内容的时候，系统会自动将版权信息和原文
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
