为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
我们知道，网站域名通常包括不带www的域名和到带www的域名，很多时候，为了SEO优化的需要，我们要将不带www域名重定向到带www域名，下面就介绍一下具体的实现方法。Apache编辑网站根目录下的。htaccess 文件，在文件里增加如下内容：RewriteEngine onrewriteCond %{http_host} ^williamlong.info [NC]rewriteRule ^(
网站地图作为根据网站的结构，框架，内容生成的导航网页文件。大多数人都知道网站地图对于提高用户体验有好处：它们为网站访问者指明方向，并帮助迷失的访问者找到他们想看的页面。那么什么是网站地图呢?在开始介绍网站地图的制作与提交之前，我们有必要先了解一下什么是网站地图。网站地图也就是sitemap，是一个网站所有链接的容器。很多网站的链接层次比较深，蜘蛛是很难抓取到的，网站地图可以方便搜索引擎蜘蛛抓取网站
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
