robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
听说你能力出众，各种玩法信手拈来，但苦于没有地方能分享一二？听说你每日勤恳，基础操作烂熟于心，但苦于没有地方能交流提升？听说你逻辑过人，产品建议合理完善，但苦于没有更好的渠道反馈？现在，有一个让你能够让你发挥才华，交流提升，甚至辅助产品决策的组织来了——智能小程序平台蓝军用户。作为蓝军用户，你会与平台一同成长。能够自由的与其它用户交流分享经验，共同研究更好的智能小程序运营策略；你的问题和建议也能够
抓取异常指的是在程序中捕获程序运行时可能发生的异常，并对异常进行处理，以避免程序因异常而崩溃或运行出错。在程序中，我们可以使用 try-catch 块来捕获异常并进行相应的处理，例如打印错误信息、给出提示等。抓取异常是一个良好的编程习惯，可以提高程序的健壮性和可靠性。
2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案，索赔金额高达一亿元，这可以看做2012年下半年“3B大战”的继续。在此次索赔案件中，百度称自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取。其实早在2012年11月初，针对双方摩擦加剧的情况，在中
名称 搜索引擎google蜘蛛: googlebot百度蜘蛛:baiduspideryahoo蜘蛛:slurpalexa蜘蛛:ia_archivermsn蜘蛛:msnbotaltavista蜘蛛:scooterlycos蜘蛛: lycos_spider_(t-rex)alltheweb蜘蛛: fast-webcrawler/inktomi蜘蛛: slurp一个在线写robots.txt的工具。最后
