Categories

Tags

子域名和子目录

原文地址：子域名和子目录作者：Matt Cutts  Google反垃圾网站组的带头人在 PubCon 会议即将闭幕的时候，我注意到很多文章在讨论 Google 对子域名和子目录的处理办法。我想在这里更详细探讨这个话题，以把我的观点表达清楚。从历史上看，子域名和子目录几乎是同一时间开始使用的。顺便提示一下，你可以从这个例子：subdomain.example.com/subdirecto

 Public @ 2014-09-11 16:11:38

建立符合搜索抓取习惯的网站

编者按：前两周简要地给大家介绍了搜索抓取系统工作原理，根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。1、简单明了的网站结构Spider抓取相当于对web这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证spider的可读性。（1）树型结构最优的结构即“首页—频道—详情页”；（2）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重

 Public @ 2021-12-30 16:12:04

360搜索对Robots协议的扩展

360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点

 Public @ 2023-05-29 17:00:21

robots简介

搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游

 Public @ 2022-05-30 16:09:18

更多您感兴趣的搜索

0.461318s