Categories

Tags

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo

 Public @ 2015-07-18 16:09:24

百度搜索资源平台-sitemap全网开放及建议启用Etag的公告

亲爱的网站管理员：百度站长平台即将正式全网开放sitemap权限，所有通过百度站长平台验证的网站均可以在百度站长工具的链接提交里添加网站的sitemap，而从近期sitemap全网开放会进入内测阶段，站长平台会挑选没有sitemap提交权限的站点参加内测，内测的报名入口《申请sitemap全网开放内测名额》。另外，本次sitemap全网开放，将取消由站长来设置sitemap文件更新周期的功能，而是

 Public @ 2013-01-24 16:09:46

URL的优化

URL的优化可以通过以下几方面来实现： 1. 简洁明了：URL应该尽量简短，清晰地描述页面的内容。避免使用过长的URL，可使用关键词来描述页面的主题。 2. 使用关键词：在URL中使用关键词可以帮助搜索引擎更好地理解页面的内容。关键词应该与页面的主题相关，但不要过度堆砌关键词。 3. 使用连字符：在URL中使用连字符（-）来分割单词，而不要使用下划线或者空格。连字符可以提高URL的可读性，同

 Public @ 2023-07-29 06:00:22

更多您感兴趣的搜索

0.588179s