名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
Canonical标签是Google、雅虎、微软等搜索引擎一起推出的一个标签，它的主要作用是用来解决由于网址形式不同内容相同而造成的内容重复问题。这个标签对搜索引擎作用非常大，以前网站上的url不同会被搜索引擎认为是重复内容，利用该标签可以指定权威的某个链接，避免重复内容收录。百度也已支持Canonical标签。为了避免重复内容的收录，搜索引擎会通过算法对网页内容及链接进行识别，对内容完全相同或者
网站url设计在每一个网站建设过程中，都是需要考虑的问题，网站链接在设计的时候，需要对网站的目录和文件这些做好命名系统，还需要提前规划好一些事情。对于网站域名链接来说。我们必须站在用户的角度上出发的，url要清晰友好、便于记忆，然后再考虑对搜索引擎排名的影响!那我们在对链接进行优化的时候有哪些需要注意的原则呢?一、网站的URL类型(1)动态URL路径网站动态的URL路径，指的就是动态的页面，那么，
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
