名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
网站在做优化的时候有一个专业术语叫首选域，这个专业术语在很多SEO培训机构或者SEO行业前辈经验分享中都有提到过。那究竟什么是首选域的作用，网站如何设置首选域 什么是首选域呢? 网站的首选域类似于标准化URL，是搜索引擎索引中编制网页的域。在搜索引擎搜索结果中，指向网站的链接有www和非www网址格式。而所谓的首选域是我们希望网站在搜索结果中显示的格式。 一般情况下，搜索引擎认为域名带www
| 什么是404页面?● 错误的链接给返回404页面● 删除的链接给返回404页面| 为什么要做404页面？● 提高SEO友好性| 如何做404页面？● 服务器上，宝塔面板● IDC服务器面板● 网站后台（来源：搜外网）
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
robots.txt文件的格式为： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬虫的名称，[URL path]指代禁止访问的URL路径。在文件中可以定义多条User-agent和Disallow规则，每一条规则占一行，每一对规则之间要有一个空行。示例： User-agent: *
