在今日头条中，根据用户输入的关键字进行搜索，系统针对关键字进行多维度搜索，内容形成聚合后，统一展示给用户。同时，今日头条采用了多种Robot来爬取和抓取用户的相关关键字，然后精确的匹配给用户，技术上主要是Robot学习算法，和文本分析算法。 Robot算法主要是爬取网站上的关键字，并根据搜索词语进行匹配。Robot算法还可以根据语义分析算法来进行分析和匹配，优化搜索效果。Robot算法也可以根据相似文本进行比较，去掉无意义的内容，提高搜索结果质量，更精准的搜索。
提起向百度提交数据，大家基本都会想到sitemap，最近又推出的ETag是什么东东？真的能有效果吗？其实在ETag推出之初，我们平台的非技术人员对效果也是没有预期的，于是请智联招聘SEO负责人桃李重点关注数据变化，就是希望能给各位同学看到最真实的效果。sitemap是解决网站收录至关重要的途径之一，而通常sitemap的更新都不是很及时，并且体量都相对较大，，此时也消耗了相应的网站流量及带宽。而E
关于站内SEO优化图片有如下几个注意点：1、图片命名图片命名，现在网络上很多图片的名称用数字或者一组数字命名，可能是方便记忆和整理，但从SEO的角度来讲相对就没有什么益处了。而这一方面从目前的状况来看，搜索引擎对图片名称给予的权重也不算高。因为图片名有时候并不能正确的表达图片本身的内容，很多时候完全可以用毫不相干的名字来命名图片，但是你不能否认图片名称很有可能会是搜索引擎判断图片内容的一个因素。2
robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
