名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
inktomi蜘蛛: slurp
一个在线写robots.txt的工具。
最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录
来源：360站长平台
网站结构有以下类型： 1. 线性结构：网页按照线性顺序呈现，用户只能按照给定的路径进行操作。 2. 并列结构：网页中的多个页面并列展示，用户可以按照自己的意愿任意选择。 3. 分层结构：根据主题或类别将网页分成不同的层次，并且每一层都有相应的子页链接。 4. 网状结构：网页中的所有页面都可以互相连接，没有明确的层次结构。 5. 混合结构：以上几种结构的组合。 树状结构是一种分层结构，也称为层次
内链：顾名思意就是在自己网站的内容中的相关文字加入链接，并且链接到网站内部的相关页面。合理的网站内空链接构造，能提高搜索引擎的收录与网站权重。相对外部链接，内部链接也很重要。传统方式以前我们做文章系统或新闻发布系统的时候，做文章内链（标签）的时候，通常是通过以下方式来实现的：数据库：article（文章表）字段（id， title， body， adddate， userid），keyword（内
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
