Categories

Tags

在windows主机上设置301永久重定向的方法

在windows主机上设置的方法可以在IIS服务器上设置也可以在代码中设置。1、在IIS服务器上设置301的方法这种设置方法需要有一个先天条件，那就是你有服务器的管理权，你可以直接操作IIS服务器，并且可以随意开通新的虚拟主机，否则你只能用修改网站代码的方法。首先开通一个新的虚拟主机，将你需要做301永久重定向的域名正常与该空间绑定，这个绑定的方法你可以咨询服务器托管商。然后打开“控制面板”→找到

 Public @ 2016-12-24 16:09:40

360搜索对Robots协议的扩展

360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：

 Public @ 2019-02-15 16:09:33

360搜索对Robots协议的扩展

360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点

 Public @ 2023-05-29 17:00:21

robots

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。来源：360站

 Public @ 2014-01-16 16:09:19

更多您感兴趣的搜索

0.447289s