我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查
我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。
当然,如果只是应付备案短暂需求,,就只能这样处理。
后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。
来源:搜外网
seozixuewang
手机扫码阅读
专业的技术驱动型网络技术公司,公司成立于2009年,12年专注数字产品开发,用创新迎合客户不断增长的需求,为客户提供专业的数字化解决方案, 为企业和品牌在不断变化的数字化环境中脱颖而出。
威海网站建设, 威海微信公众号开发, 威海企业邮箱, 威海行业网站, 威海系统开发, 威海软件开发, 威海APP开发, 威海域名注册, 威海商标查询, 威海商标注册, 威海商标设计, 威海知识产权代理, 威海房产销控系统, 威海缺陷跟踪系统, 威海企业云/私有云解决方案, 威海企业邮局