james 提问于 1年 之前
请问Zac大佬，您的爬虫是自己写的吗，可以付费或者免费分享吗？
1 个回答
Zac 管理员 回答于 1年 之前
当然不是啊。生成网站地图是任何CMS的标配，或至少有插件可用。我博客用的WordPress，WordPress本身从5.5版本已经有内置生成sitemap.xml功能，也有很多插件，搜索wordpress sitemap.xml plugin可以看到一大堆。我博客的sitemap.xml是All in One SEO插件生成的。
如果CMS不能生成sitemap.xml就不要用了。
如果是自己开发的CMS，通常是从数据库中直接提取URL，应该不会是靠爬虫抓取生成的。
来源：SEO每天一贴 Zac 昝辉
问：网站总是出现504对网站有影响吗？答：长期出现504的网站，排名必然严重被影响，服务器的稳定性，直接作用于权重，服务器不稳定，排名不会好。来源：A5营销
网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？微信 悬赏网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？回答：你确定蜘蛛是真的百度蜘蛛吗？99.99%的概率是假蜘蛛，不是真的！来源：A5
一般来说，新建网站是可以创建二级域名的。二级域名是指在主域名的基础上增加一个子域名，例如，主域名为example.com，而它的二级域名则可以是sub.example.com。通过创建二级域名，可以方便地将不同的内容分类，并使用户更容易记住网站的地址。具体如何创建二级域名，可以根据所用的网站建设平台或主机商提供的说明进行操作。
火山 提问于 3年 之前ZAC老师您好，最近遇到一个问题之前在你博客看到过解决方法！就是网站的内容太长从而对内容进行分页，那么现在搜索引擎会爬行收录了分页这种问题要怎么解决？ 比如：页面是www.xxx.com/news/123.html 搜索引擎会爬行www.xxx.com/news/123_all.html(点击查看全文) 这个链接。1 个回答Zac 管理员 回答于 3年 之前昨天
