360搜索支持Robots协议的主要命令，以下为具体说明：
1. user-agent
360搜索各产品的爬虫user-agent为：
- 网页搜索 360Spider
- 图片搜索 360Spider-Image
- 视频搜索 360Spider-Video
2. Allow
站长可通过Allow命令指定建议收录的文件、目录 。
3. Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
网站内部结构优化对网站建设起到计划和指导的作用，对网站的内容维护、后期SEO起到关键作用。下面主要从网站结构、页面元素、导航结构、后期优化等方面来讲述网站的内部优化，从网站建设的前期就为SEO优化、后期维护提供方便和基础。URL地址优化为网站上的文件创建具有良好描述性的分类名和文件名，不仅可以更好地组织网站结构，还有助于搜索引擎更有效地抓取文件。虽然搜索引擎能够抓取复杂的URL，但提供相对简单的U
原文地址：Talk like a Googler: parts of a url作者：Matt Cutts Google反垃圾网站组的带头人让我们来解剖一个 URL 的所有部分。我将告诉你，在 Google 通常所涉及的分别指 URl 的哪些不同部分 。这是一个有效的 URL，并包含很多元素：http://video.google.co.uk:80/videoplay?do
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。什么是meta robots 标签？meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。meta robots 标签的写法：<meta name=”robots”content=”noindex,nofollow”>标签的意义：禁止
