Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。对于网站中希望360搜索抓取的网页url，站长可以将其制作成标准的Sitemap（站点地图）文件。站长提交后Sitemap文件后，360搜索会使用Sitemap中的内容来了解网站结构等信息，有助于今后更全面、更快速地对网站进行抓取。但我们不保证一定会抓取及索引Sitemap中所有网址，也不保证其在搜索结果中的排名。点此提交Sitemap网址
一句话次导航是什么次导航：在网站的页脚，用首页的目标关键词打上锚文本指向给首页。目的是增加目标关键词的内链，提高URL的权重。一句话次导航：编辑一句完整话语，在里面出现多个关键词，给每个关键词添上首页链接，这个就是一句话次导航。为什么要做一句话次导航每个网站首页可以做3-5个目标关键词，栏目页面可以做1-3个关键词。但往往首页上的几个关键词，还有栏目上的关键词无法都放到主导航上，甚至可能主导航上的
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
