User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不要與其他目錄或檔案混淆，否則會影響索引品質。 - Allow：機器人允許存取的目錄或檔案，若不設定，代表機器人可自由存取。 - Sitemap：網站地圖檔案通常是一個XML檔案，提供站點中所有的頁面、文章等連結資訊，可以協助搜尋引擎更精確地抓取網站的內容。在robots.txt中設定可以幫助搜尋引擎更快速地尋找該檔案，並進一步了解網站結構和相關信息。
今天为什么要说一下404问题呢,最近看case过程中发现个很有意思的网站，该网站被灌了大量的垃圾信息，被其发现后及时地进行了删除，这一点是值得肯定的。通常情况下，正常网站将自动返回404状态码，搜索引擎进行更新并删除，避免对网站用户及搜索引擎带来负面影响。但问题来了，该网站只删除了内容，没有任何主体内容的页面被保存了下来，未做404处理。当然，存在一类网站只删除内容后返回正常200状态码，提醒一句
百度各个产品使用不同的user-agent：无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider
为什么我的网站已经加了robots.txt，还能在百度搜索出来？因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。来源：百度搜索资源平台 百度搜索学堂