Categories

Tags

Robots文件是否支持中文目录

有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?

工程师解答：Baiduspider目前（2016年10月）在robots里是不支持中文的。

同学追问：那我们进行UrlEncode编码会不会支持呢？比如这种：http://www.a.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

工程师解答：robots文件支持这种写法。但是否生效，还要取决于当时BaiduSpider抓取的是哪种形式结构的链接，如果是UrlEncode编码就可以生效，如果是中文就非常不幸了。

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2013-01-02 16:08:54

如何实现301跳转？

要实现301跳转，可以按照以下步骤操作： 1. 确认被重定向的页面或网站已经关闭或不再使用。 2. 在服务器上创建一个 .htaccess 文件，或者使用已经存在的 .htaccess 文件。 3. 在 .htaccess 文件中添加代码： Redirect 301 /原网址 http://新网址 其中，“原网址”是你想重定向的页面或者网站的网址，而“新网址”是你想

 Public @ 2023-04-01 07:50:23

站点地图创建方法

要创建站点地图，请遵循以下步骤： 1. 定义您的网站结构：确定您的网站有哪些页面和区域，以及它们之间的层次结构。这将有助于您确定要在站点地图中包括哪些页面和它们之间的关系。 2. 创建一个XML文件：使用XML语言创建一个文件，该文件将包含您的站点地图信息。您可以使用一个在线工具或者手动创建该文件。 3. 添加标记：向XML文件添加标记，以指示每个页面的URL和重要性。您还可以指定最后更新时

 Public @ 2023-05-27 10:50:19

Robots文件的作用和规范写法

控制页面的抓取、索引是SEO优化网站结构时经常需要用到的技术。常见的工具包括：robots文件页面的noindex标签链接的nofollow属性页面的301转向页面的canonical标签等这几个工具各有各的特定应用场景，但都是用于控制网站内部结构，之间容易混淆，还经常需要配合使用，SEO们必须准确理解这几个工具的机制和原理，不然很容易出错。这篇贴子讨论robots文件。Robots文件的作用ro

 Public @ 2012-12-30 16:09:20

Robots.txt 文件应放在哪里？

obots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。如：https://www.seowhy.com/robots.txt    是有效的。https://www.seowhy.com/a/robots.txt  是无效的。以下3种情况需要注意：1、如果手机网站采用的是m.的二级域名，要给手机网

 Public @ 2018-08-20 16:09:23

更多您感兴趣的搜索

0.635899s