Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站索引效率，从而表现出良好的搜索引擎优化效果。
一、什么是面包屑导航从用户的角度是基于位置信息的指引，它清晰的指出从当前页面到首页的相关路径，引导用户返回首页或目录页。面包屑导航最能体现出一个网站的逻辑结构。二、面包屑导航的作用面包屑导航最主要的作用还是引导用户返回网站首页或目录页，避免用户“迷路”，简单的讲就是告诉用户行走路线。其次面包屑导航可以提升网站的整体权重，譬如：小型站点的面包屑导航可以是这么表现：网络营销首页>网络营销方法&g
对于前端来说，#号是可以使用的，通常用于锚点定位页面位置、实现单页面应用的路由、以及在url上添加参数、实现滚动监听等。但是对于SEO来说，#号会被搜索引擎忽略，因此不应过度使用。
robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。对于Google来说，使用robots也未必能阻止Google将网址编入索
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
