robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全问题。因此，对于任何一个网站来说，编写一个有效的robots.txt文件都是非常必要的。
其实网站结构这块的优化需要解决的最重要问题包括收录以及页面权重分配。最经典是树形结构，是比较好的链接及权重分配模式。但是由于不同的网站采用的技术不同，要实现的功能、网站目的、运营思路都有可能不同，因此某些看起来是根据树形结构来做的网站，其实结构很奇怪。因此我们需要具体问题具体分析。 首先是解决重点内页的问题。一般来说，网站首页获得的内外部链接是最多的，权重最高。首页链接到一级分类页面，这
2019年9月10日，Google宣布将不再将nofollow标签视为“组织不相信或不支持链接的其它公开声明”。 以前，nofollow标签用于指示搜索引擎不要追踪某个链接，并将其对网页排名的权重减少，以防止垃圾信息和不良链接的滥用。然而，这一变化将重新定义nofollow标签的作用。 根据Google的新规定，nofollow标签将被视为“建议搜索引擎不要给链接传输排名信号的提示”。这意味着
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
