robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
内容与结构的优化，在站内优化中占很大的比例，一般包括首页、栏目页内页和各种聚合页面的优化，分为以下四个方面：1、中间商品展示栏为所有商品图片增加alt"图片注释，注释直接调用商品名称即可。2、商品分类页在大型广告栏上方增加频道标题与简短描述般60~80个中文字为宜。为所有商品图片增加alt="图片注释，注释直接调用商品名称即可，这样做的好处是当图片不能完全显示的时候还能保持文字
移动Sitemap协议是一种用于向搜索引擎提交移动网站页面信息的协议。它类似于普通的Sitemap协议，但是专门针对移动网站页面优化而设计。 可以通过以下步骤来提交移动Sitemap协议： 1、创建移动Sitemap文件：根据搜索引擎要求，创建包含移动网站页面信息的Sitemap文件。 2、将Sitemap文件上传到网站服务器中。 3、将Sitemap文件的URL提交给搜索引擎：访问搜索引
蜘蛛黑洞：蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL ，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。如果你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的筛选结果页基本都是使用静态链接
