Categories

Tags

robots.txt使用教程

用几个最常见的情况，直接举例说明：1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。2. 禁止所有SE收录网站的某些目录：User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/3. 禁止某个SE收录本站，例如禁止百度：User-agent: BaiduspiderDisallow: /4. 禁止所有SE收录

 Public @ 2013-01-15 16:09:31

怎样给博客帖子加内部链接？

很多读者在问，我的博客帖子里面加的内部链接是怎么弄的？我也发现有一些朋友把我的博客一些文章排名还不错，归功于我博客上的内部链接。我想这是其中的一个原因。今天就解释一下，通常我是怎样在博客帖子里面加站内链接。首先，要说明的是，博客帖子里面的链接完全是人工加上去的就是很老很笨的找到自己博客以前的帖子URL，然后写帖子时加上去。我做网站通常会比较喜欢这种比较笨的办法。每个人的特点不同，我是希望做网站时，

 Public @ 2009-11-17 16:11:24

​robots是什么？robots mate和​robots有什么区别

robots是什么robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中，文件名必须为小写。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分，或者指定搜索引擎只收录指定

 Public @ 2012-12-17 16:09:27

禁止搜索引擎收录的方法

禁止搜索引擎收录的方法什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分

 Public @ 2016-10-21 16:09:20

更多您感兴趣的搜索

0.535003s