Categories


Tags


网站改版中关于robots.txt文件问题

zbwsmile 提问于 3年 之前

zac老师好,非常感谢你无私的正确的分享对我的SEO工作方面的帮助!

我的站点状况:我有一个老的PC站点(例:www.oldPC.cn,当时还没有对应的WAP站点)进行了网站改版,当时的做法是全站301到新的域名(例:www.newPC.com)下。目前建立一个独立的移动m站(例:m.newPC.com)。通过百度的site语句发现,如果site:m.newPC.com会直接展示原来的PC域名(www.oldPC.cn)。前几天刚把老域名在百度站长里更新了网站改版,正在观察。

我的问题是:oldPC站点的www.oldPC.cn/robots.txt 访问时也被301跳转到www.newPC.com/robots.txt 。我目前觉得这个不正常,网络上百度谷歌都没有相关说明,想得到您的分析与建议,另外如果zac老师或者其他同行看到我的网站描述有什么建议也欢迎交流,响应式移动站点可能最近开发这里做不了。谢谢!

1 个回答

Zac 管理员 回答于 3年 之前

网站换域名时,旧域名robots文件不要自动转向到新域名下的robots文件,并且旧域名robots文件最好删除所有抓取限制,这样搜索引擎在旧域名上的抓取都会被识别到转向至新域名。

zbwsmile 回复于 3年 之前

“旧域名robots文件最好删除所有抓取限制”,是什么意思?我目前操作是全部Disallow了

Zac 管理员 回复于 3年 之前

意思就是全部要allow,全部允许抓取,和你做的正相反。你disallow的话,搜索引擎不能抓,那怎么看到转向到新URL了呢?

Ella 回复于 2年 之前

zac老师,如果不换域名,只是换协议,从HTTP到HTTPS呢?robots文件需要跳转吗?

来源:SEO每天一贴 Zac 昝辉


Public @ 2013-10-12 15:53:42

谷歌搜索结果中显示的URL后面被加上了undefined字符?

Hooi Sing 提问于 1年 之前您好!最近发现在谷歌的搜索结果里,我们公司的显示URL 有 “undefined”.比如 :example.com/undefined 。 点击之后,是301转址到对的网页。请问为什么谷歌的搜索结果里面会出现 “undefined” 的字?谢谢解答!1 个回答Zac 管理员 回答于 1年 之前偶尔谷歌会在URL后面加一些字符,抓一下看看有没有新内容,但这不是常

Public @ 2010-07-27 16:04:16

网站地图作用问题

吴学涯 提问于 3年 之前Zac老师,您好。看您写的书开始SEO工作的,目前做了4年了,现在在一家500强公司工作。问题:很多网站底部有网站地图这个菜单,我知道对爬虫是有作用的,但是对用户来说有什么作用,是一种内容信息架构,还是起到什么作用。请指教。PS:很多国外公司的网站有网站地图在页面上,苹果和惠普都有,但是微软没有。中国大陆大部分网站没有,也有有的。福州嘉艺网络 回复于 3年 之前网站地图的

Public @ 2021-03-28 15:54:09

如何解决百度spider无法抓取的问题?

要解决百度蜘蛛无法抓取的问题,可以考虑以下几个方面: 1. 确保网站存在合适的 robots.txt 文件:robots.txt 是一个协议,用于向搜索引擎指明哪些页面可以被抓取。检查一下该文件是否正确设置,且不会阻止百度蜘蛛的抓取。 2. 检查网站的反爬虫策略:有时候网站会使用反爬虫机制来防止被搜索引擎抓取,如验证码、IP 封禁等。确保网站没有设置过于严格的反爬虫策略,或者将百度蜘蛛的抓取排

Public @ 2023-06-30 13:00:19

网站地图作用问题

吴学涯 提问于 3年 之前Zac老师,您好。看您写的书开始SEO工作的,目前做了4年了,现在在一家500强公司工作。问题:很多网站底部有网站地图这个菜单,我知道对爬虫是有作用的,但是对用户来说有什么作用,是一种内容信息架构,还是起到什么作用。请指教。PS:很多国外公司的网站有网站地图在页面上,苹果和惠普都有,但是微软没有。中国大陆大部分网站没有,也有有的。福州嘉艺网络 回复于 3年 之前网站地图的

Public @ 2021-03-28 15:54:09

更多您感兴趣的搜索

0.443946s