Categories

Tags

robots.txt文件放在哪里?

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站 URL

相应的 robots.txt的 URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

http://www.w3.org:1234/

http://www.w3.org:1234/robots.txt

http://w3.org/

http://w3.org/robots.txt

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-01-09 16:08:57

搜索引擎自己应该是可以检测协议死链（404、403等）的，为什么还需要站长提交？

因为，搜索引擎对各类网页的抓取过程可能存在不可抗力的因素，比如网络延迟、缓存策略、主机垮掉等，可能会导致抓取异常，无法正常检测死链。这时就需要站长通过提交，及时通知搜索引擎，让其及时发现并修复死链。

 Public @ 2023-03-03 04:48:09

XML格式中，“priority”提示会影响结果排名吗？

不一定。在XML格式中，“priority”标签可以用于指定网页的权重或重要性，但具体影响结果排名的因素还有很多其他因素，如关键词匹配度、网页内容质量、链接质量等。因此，“priority”标签只是其中的一个因素，不一定会对结果排名产生直接影响。

 Public @ 2023-06-10 09:50:07

搜索问答剧场【七】“robots文件”常见问题解析

哈喽大家好！【搜索问答剧场】最新一集如期而至，平小雕又带着满满的知识干货回来啦！准备好迎接知识的洗礼了嘛？第五集【搜索问答剧场】中，跟大家提到了【Robots】工具。本期就来详细教大家如何灵活地使用【Robots】工具，以及如何正确设置网站整体的抓取范围。一、了解robots文件1、Q：什么是robots文件？A：robots文件用于指定spider在网站上的抓取范围，在文件中可以声明网站中不想被

 Public @ 2015-05-15 15:16:25

关于robots.txt的二三事

【Robots简介】robots.txt是一个协议，是搜索引擎访问网站时第一个要查看的文件，它存在的目的是告诉搜索引擎哪些页面能被抓取，哪些页面不能被抓取。当spider访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，spider会按照文件中的内容来确定访问的范围；如果该文件不存在，所有的spider将能够访问网站上所有没有被口令保护的页面。【具体介绍】1、User

 Public @ 2017-02-13 16:09:19

更多您感兴趣的搜索

0.631824s