robot 禁止抓取图片
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
F型结构是指在网站内容展示的前沿区域，用户的阅读行为呈现出一个“F”字形状。具体来说，用户在浏览网页时，会先在页面顶部水平扫描，然后垂直下滑浏览左侧区域，最后再次水平扫描浏览右侧区域，形成了一个“F”字形的浏览路径。因此，F型结构的网站设计应该在页面顶部和左侧区域呈现最重要、最吸引人的内容，吸引用户的注意力，并且要注意深入挖掘左侧区域的内容，使用户得到更多信息。
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
User-agent: *Disallow: .jpg$jpg可以代替为gif，png 等等...
