Categories


Tags


抢先式多线程网络蜘蛛

框架 // Copyright(C) 2017 铭飞科技 // #region 版权信息 /* * 此文件自 Copyright(C) 2008 - 2017 铭飞科技 Classification:无 开源网站:http://www.http://www. coding */ #endregion using System; using System.Data; using System.Web.UI; using System.Web.UI.WebControls; using System.Collections; using System.Collections.Generic; using System.Collections.Specialized; namespace Web.Templates.UI { ///

/// 标签树控件 /// public class Tree : System.Web.UI.WebControls.TreeView { private string _styleName = ""; /// /// 样式 /// /// The name of the style. public string StyleName { get { return _styleName; } set { _styleName = value; } } private string _checkedValue = ""; /// /// 默认选中当前值 /// /// The checked value. public string CheckedValue { get { return _checkedValue; } set { _checkedValue = value; } } private string _checkBoxName = ""; /// /// 复选框名称 /// /// The check box name. public string CheckBoxName { get { return _checkBoxName; } set { _checkBoxName = value; } } private int _checkParentType = -1; /// /// /// /// The type of the check parent. public int CheckParentType { get { return _checkParentType; } set { _checkParentType = value; } } private int _checkChildType = -1; /// /// /// /// The type of the check child. public int CheckChildType { get { return _checkChildType; } set { _checkChildType = value; } } private string _showLevel = "999"; /// /// 显示层级 /// /// The show level. public string ShowLevel { get { return _showLevel; } set { _showLevel = value; } } private string _valueField = "id"; /// /// 编号字段名 /// /// The value field. public string ValueField { get { return _valueField; } set { _valueField = value; } } private string _textField = "title"; /// /// 显示字段名 /// /// The text field. public string TextField { get { return _textField; } set { _textField = value; } } private string _fatherField = "parentid"; /// /// 父编号字段名 /// /// The father field. public string FatherField { get { return _fatherField; } set { _fatherField = value; } } private TreeNodeBindEventHandler _onBind; /// /// 构建事件 /// /// The on bind event. public event TreeNodeBindEventHandler OnBind { add { _onBind += value; } remove { _onBind -= value; } } private DataTable _dataSource; /// /// 数据源 /// /// The data source. public DataTable DataSource { get { return _dataSource; } set { _dataSource = value; } } /// /// 绑定数据 /// public override void DataBind() { this.Nodes.Clear(); this.ShowCheckBox = this.CheckBoxName != "" && this.CheckBoxName != null; if (_dataSource != null) { TreeNode root_node = new TreeNode(); root_node.Value = "-1"; root_node.Text = "根目录"; Nodes.Add(root_node); List root_list = new List(); for (int i = 0; i < _dataSource.Rows.Count; i++) { TreeNode node = new TreeNode(); DataRow dr = _dataSource.Rows[i]; node.Value = dr[_valueField].ToString(); node.Text = dr[_textField].ToString(); node.SelectAction = TreeNodeSelectAction.None; //node.Depth =int.Parse(_showLevel); if (_onBind != null) { _onBind(node); } if (dr[_fatherField].ToString() == "-1" || dr[_fatherField].ToString() == "0") { Nodes.Add(node); if (node.Value == _checkedValue) { node.Checked = true; } int has = 0; for (int j = 0; j < root_list.Count; j++) { if (root_list[j] == int.Parse(node.Value)) { has = 1; } } if (has == 0) { root_list.Add(int.Parse(node.Value)); } } else { TreeNode father_node = GetNode(root_node, dr[_fatherField].ToString()); if (father_node != null) { father_node.ChildNodes.Add(node); if (node.Value == _checkedValue) { node.Checked = true; } } } } //绑定事件,自动勾选父级节点 if (this.CheckParentType == 0 || this.CheckChildType == 0) { string enterjvice = ""; if (this.CheckParentType == 0) { enterjvice += "FatherChecked"; } if (this.CheckChildType == 0) { enterjvice += "ChildChecked"; } if (enterjvice != "" && this.Nodes.Count > 0) { this.Attributes.Add("onclick", "JscAutoCheckedNode(this,'" + enterjvice + "');"); } } } base.DataBind(); } /// /// 构建HTML /// /// The object that receives the server control content. protected override void Render(HtmlTextWriter writer) { string[] style_list = new string[] { "admin_tree", "data_tree", "input_tree", "menu_tree", "popmenu_tree" }; switch (_styleName) { case "menu_tree": this.ShowCheckBox = false; this.CssClass += " menu"; break; case "popmenu_tree": this.

Public @ 2023-02-24 22:25:29

如何提高spider抓取网站?提高spider抓取策略(2)

上一篇文章中,给大家简单介绍了提高spider抓取网站策略的两大方法,另外还有五个策略接着给分享给大家。如果没有浏览上篇文章,可以通过以下链接查看:【如何提高spider抓取网站?提高spider抓取策略(1)】提高spider抓取策略有哪些?三、多种URL重定向的识别为了让spider能够对多种URL重定向的识别,重定向分别有三类:HTTP 30x重定向、Meta refresh重定向和JS重定

Public @ 2013-03-16 16:22:34

百度spider介绍

百度spider,也叫"百度蜘蛛",是百度用于抓取网络上的网页内容的爬虫程序。它会自动搜索网络上的网页,抓取页面上的关键词和摘要,并将它们保存在百度的数据库中。百度的蜘蛛不仅可以抓取网页上的文本信息,还可以抓取网页上的图像和多媒体文件,以及网站上的链接。百度蜘蛛可以在短时间内快速地抓取大量信息,因此十分实用。它也可以抓取动态网页内容,对网络内容进行检索更新,从而搜集到最新最准确的检索结果。

Public @ 2023-02-25 17:36:20

如何和搜索引擎爬虫对话

作为AI语言模型,我无法实际与搜索引擎爬虫对话,但我可以提供以下有关如何处理爬虫的指导: 1. 确保您的网站结构和内容易于爬行。将所有页面都链接在一起,并为每个页面添加描述性的标题和标记。 2. 在网站中使用robots.txt文件来指定搜索引擎爬虫的访问权限。 3. 将所有内容放在HTML中,而不是JavaScript或Flash中,因为搜索引擎爬虫无法识别JavaScript和Flash内容

Public @ 2023-05-27 13:50:15

哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取

? 1. 通过robots.txt可屏蔽Google、Baidu、Bing等常见的网站搜索引擎的抓取; 2. 通过User Agent阻止未知垃圾爬虫或无流量搜索引擎,通过历史行为表明该蜘蛛具有不良意图抓取数据; 3. 通过代理服务器设置黑名单,可以限制不同来源IP的访问; 4. 通过验证码屏蔽爬虫或机器人,使搜索结果不准确、不可用; 5. 通过网络防火墙设置黑白名单,阻止一些特定的网站

Public @ 2023-02-24 22:00:34

更多您感兴趣的搜索

0.492920s