robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
？ 1. 合作友商内容交换：与其他网站合作，将友友商的文章链接到自己的网站中，友商也会将自己网站的文章链接到自己的网站中。 2. 将文章内容嵌入到另外一个文章中：在文章中插入一些对之前文章的引用，以提高文章的凝聚力和完整性。 3. 使用关键字：通过使用与话题相关的关键字和短语，来吸引读者驻足，使之回访自己的网站。 4. 使用内置链接：读者扫描文章时，可以使用内置链接及文章目录，引导读者至相应文章
sitemap数据提交后，一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
