什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
4月14日，一年一度搜索分享会MADCon在厦门举办，当晚，百度站长平台召开高端沙龙，由SEO圈知名人士Zac、渠成、柳焕斌，爱站网创始人郑志平，站长之家主编叶开圆组成的行业专家团，与以百度搜索技术总监王闯带队的百度Lee专家团，畅聊百度站长平台将在PC和移动搜索上的新举措，同时，百度Lee专家团悉心听取了在场专家和站长们的建议以及意见，最后王闯站在技术角度承诺站长，会为站长打造一个更加开放的百度
尊敬的用户： 近日，百度搜索资源平台官网的LOGO部分被恶意站点盗用，严重侵犯了百度平台的版权及商标权，同时也恶化了用户体验。 为了维护平台的合法权益及用户利益，百度决定针对以上恶意行为，对涉事站点进行站点禁用，并保留追究法律责任的权利。 在此，我们提醒广大用户： 1.请勿在涉事站点进行任何搜索或操作，以免造成不必要的损失。 2.如遇到任何盗用或侵权问题，请及时联系平台客服或发送邮件至c
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...来源：360站长平台
