创建站点地图的方法如下： 1.确定网站结构：确定网站的目录结构和分类，以及网页之间的链接关系。 2.创建XML文件：将网站的链接和网页信息保存在一个XML文件中。 3.注册站点：将站点地图提交给主要的搜索引擎（如Google、Baidu等）进行注册。 4.检查更新：每次网站更新，都需要更新站点地图，以保持站点地图的完整性和准确性。 5.使用工具：使用在线工具或插件轻松创建站点地图，例如：Google XML Sitemap Generator、Yoast SEO等。 6.手动编写：如果您具有编程和XML技能，可以手动编写站点地图XML文件，以便更好地控制和管理站点地图。 总之，站点地图的创建非常重要，可以帮助搜索引擎更好地理解和遍历您的网站，并提高搜索排名和流量。
robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全
robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。对于Google来说，使用robots也未必能阻止Google将网址编入索
课程讲的sitemap是url提交， txt文本、HTML 、XML区别是啥啊 我看了好久没看懂。11-22.那我们网站的这个网站地图又是干嘛用的呢？11-23.网站的sitemap，主要目的就是将整站的url都整理到一个文件里面，然后把文件上传至网站根目录下。再到百度资源平台，提交sitemap处，提交这个文件的链接。sitemap可以帮助搜索引擎更好的了解网站的url，促进蜘蛛的爬取和页面收录
支持XML格式和TXT文本格式。
