多线程采集的核心代码

最新推荐文章于 2021-08-29 14:55:12 发布
原创 最新推荐文章于 2021-08-29 14:55:12 发布 · 716 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 

多线程采集的核心代码

        /// <summary>
        /// 采集进程记录
        /// </summary>
        private ArrayList alMsgList = new ArrayList();
        /// <summary>
        /// 线程
        /// </summary>
        private Thread thread;
        /// <summary>
        /// 线程计数器
        /// </summary>
        private int Count = 0;

        /// <summary>
        /// 系统加载
        /// </summary>
        public Form1()
        {
            InitializeComponent();

            CreateManageThreads();
        }


        #region 多线程采集

        /// <summary>
        /// 创建线程
        /// </summary>
        private void CreateManageThreads()
        {
            thread = new Thread(new ThreadStart(ManageThreads));

            thread.Start();
        }

        /// <summary>
        /// 循环线程
        /// </summary>
        private void ManageThreads()
        {
            while (thread.ThreadState == ThreadState.Running)
            {
                GetCircleStart();

                Count = 0;

                Thread.Sleep(5000);
            }
        }

        /// <summary>
        /// 根据采集周期判定获取当前需要采集的记录
        /// </summary>
        /// <param name="obj"></param>
        private void GetCircleStart()
        {
            if (alMsgList.Count == 0) 
                return;

            Thread[] subTread = new Thread[alMsgList.Count];

            for (int i = 0; i < alMsgList.Count; i++)
            {
                //采集进程配置实体
                Entity_GatherThread obj = (Entity_GatherThread)alMsgList[i];

                if (obj.StateId == "2")
                {
                    //obj.PeriodGather.ToString() != "0"表示定时采集；obj.PeriodGather.ToString() == ""表示循环采集
                    if (obj.PeriodGather.ToString() == "0")
                    {
                        if (DateTime.Now >= obj.NextTime && obj.OneYesOrNo)
                        {
                            Count++;
                            if (Count <= this.ThreadCount)
                            {
                                obj.OneFlag = false;
                                obj.NextTime = DateTime.Now;
                                subTread[i] = new Thread(new ParameterizedThreadStart(StartCreateGetData));
                                subTread[i].Start(obj);
                            }
                        }
                    }
                    else
                    {
                        if (DateTime.Now <= obj.EndTime && DateTime.Now >= obj.NextTime)
                        {
                             Count++;
                             if (Count <= this.ThreadCount)
                             {
                                 obj.NextTime = DateTime.Now.AddMinutes(obj.PeriodGather);
                                 subTread[i] = new Thread(new ParameterizedThreadStart(StartCreateGetData));
                                 subTread[i].Start(obj);
                             }
                        }
                    }
                }
            }
        }

        /// <summary>
        /// 开始数据采集操作(按每天为周期)
        /// </summary>
        /// <param name="obj"></param>
        private void StartCreateGetData(object obj)
        {
            Entity_GatherThread entity = (Entity_GatherThread)obj;

            //更改Arrylist状态：正在采集
            entity.StateId = "1";
            entity.StateName = "正在采集";

            //启动数据采集函数
            GatherOper(entity.DataSourceId,entity.MgId);

            //更改当前列表和Arrylist状态
            //entity.OneFlag == true表示定时采集的当天未采集,false表示已采集
            if (entity.OneFlag == false)
            {
                entity.StateName = "完成采集";
                entity.StateId = "3"; 
            }
            else
            {
                entity.StateName = "等待采集";
                entity.StateId = "2"; 
            }


            //采集完毕
        }
        #endregion


 /// <summary>
        /// 选中某个数据源后，点击“启动采集”按钮触发
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void StartGatherButton_Click(object sender, EventArgs e)
        {
            if (this.treeView1.SelectedNode.ContextMenuStrip.Name == "DataSourceMenu")
            {
                if (!this.CheckDataSourceIDInMsgList(int.Parse(this.treeView1.SelectedNode.Tag.ToString())))
                {
                    DataEntity.Gather_DataSourceConfig DataSourceConfig = new Gather_DataSourceConfig();
                    DataSourceConfig = Common.GetDataSourceConfig(int.Parse(this.treeView1.SelectedNode.Tag.ToString()));

                    if (DataSourceConfig != null)
                    {
                        //根据DataSourceConfig.DataSourceId判断此数据源是否进行了详细配置
                        DataSet ParticularConfig = new DataSet();
                        ParticularConfig = Common.GetParticularConfigList("DataSourceId=" + DataSourceConfig.DataSourceId);
                        if (ParticularConfig != null)
                        {
                            if (ParticularConfig.Tables.Count > 0)
                            {
                                if (ParticularConfig.Tables[0].Rows.Count > 0)
                                {
                                    DataEntity.Gather_Period Period = new Gather_Period();
                                    Period = Common.GetPeriodModel(DataSourceConfig.PeriodId);

                                    if (Period != null)
                                    {
                                        DataEntity.Entity_GatherThread GatherThread = new Entity_GatherThread();
                                        GatherThread.MgId = int.Parse(this.treeView1.SelectedNode.Parent.Tag.ToString());
                                        GatherThread.MgName = this.treeView1.SelectedNode.Parent.Text.ToString();
                                        GatherThread.CourseManageId = DataSourceConfig.DataSourceId.ToString();
                                        GatherThread.DataSourceId = DataSourceConfig.DataSourceId;
                                        GatherThread.DataSourceName = DataSourceConfig.DataSourceName;
                                        GatherThread.EndTime = DateTime.Parse(DateTime.Today.ToString("yyyy-MM-dd") + " " + Period.EndTime);
                                        GatherThread.NextTime = DateTime.Parse(DateTime.Today.ToString("yyyy-MM-dd") + " " + Period.TimeGather);
                                        GatherThread.OneFlag = true;
                                        GatherThread.PeriodGather = Period.PeriodGather;
                                        GatherThread.PeriodId = Period.PeriodId.ToString();
                                        GatherThread.StartTime = DateTime.Parse(DateTime.Today.ToString("yyyy-MM-dd") + " " + Period.StartTime);
                                        GatherThread.StateId = "2";
                                        GatherThread.StateName = "等待采集";

                                        //将新增的数据源的采集加入采集队列
                                        alMsgList.Add(GatherThread);

                                        //更新采集列表
                                        DataBindGridView();
                                    }
                                    else
                                    {
                                        MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：没有找到该数据源的详细采集周期设置，可能已经被移除，请设置采集周期后重试！", "警告", MessageBoxButtons.OK);
                                    }
                                }
                                else
                                {
                                    MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：没有找到该数据源的详细配置，可能已经被移除，请设置详细配置后重试！", "警告", MessageBoxButtons.OK);
                                }
                            }
                            else
                            {
                                MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：没有找到该数据源的详细配置，可能已经被移除，请设置详细配置后重试！", "警告", MessageBoxButtons.OK);
                            }
                        }
                        else
                        {
                            MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：没有找到该数据源的详细配置，可能已经被移除，请设置详细配置后重试！", "警告", MessageBoxButtons.OK);
                        }


                    }
                    else
                    {
                        MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：该数据源没有设置采集周期，请设置采集周期后重试！", "警告", MessageBoxButtons.OK);
                    }
                }
                else
                {
                    MessageBox.Show("\"" + this.treeView1.SelectedNode.Text + "\"：已加入采集队列！", "警告", MessageBoxButtons.OK);
                }
            }
        }

    /// <summary>
        /// 停止某类数据源的采集进程：首先点击“停止监控”按钮，选择监控列表中需要停止采集的进程，点击“停止采集”按钮即可。
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void StopGatherButton_Click(object sender, EventArgs e)
        {
            if (this.dataGridView1.CurrentRow != null)
            {
                int Index = this.dataGridView1.CurrentRow.Index;
                this.alMsgList.RemoveAt(Index);

                this.timer1.Enabled = true;
            }
        }
python多线程——采集ip并验证
iop00177的博客
11-01 1220
Python因GIL的设计使得单CPU同一时刻只能执行一个线程，所以多线程在Python中主要用于IO较多的场景。前段时间需要采集一些免费IP代理，就应用多线程对采集来的代理进行目标网站的连通性进行批量验证。   Python通过两个标准库thread和threading提供对线程的支持。thread提供了低级别的、原始的线程以及一个简单的锁。 threading 模块提供的其他方法： thre
多线程ip代理采集
05-25
多线程ip代理采集
Java 线程池框架核心代码分析--转
07-14 138
原文地址：http://www.codeceo.com/article/java-thread-pool-kernal.html 前言 多线程编程中，为每个任务分配一个线程是不现实的，线程创建的开销和资源消耗都是很高的。线程池应运而生，成为我们管理线程的利器。Java 通过Executor接口，提供了一种标准的方法将任务的提交过程和执行过程解耦开来，并用Runnable表示任务。 ...
多线程下载核心代码
梅利奥达斯的博客
12-23 578
Android 多线程下载
Java多线程（四）：竞态和核心代码（Race Conditions and Critical Sections）
wujingyicode的博客
03-17 178
竞态可能会在核心代码中法师。如果某部分代码被多个线程执行，如果线程执行的顺序不一样，结果不一样，那么这块代码可以被称为核心代码。 核心代码 举个例子： public class Counter { protected long count = 0; public void add(long value){ this.count = this.count +...
java多线程核心源码解析
u013978512的博客
08-29 532
其中ctl这个AtomicInteger的功能很强大，其高3位用于维护线程池运行状态，低29位维护线程池中线程数量 https://www.cnblogs.com/trust-freedom/p/6681948.html
多线程数据采集器源码（C# 2.0）.rar
03-15
标签“多线程数据采集器”和“c#”则明确了该源码的核心技术和应用领域。多线程数据采集器是用于高效收集和处理大量数据的工具，而C#作为.NET框架的一部分，提供了丰富的库支持，适合开发这样的应用程序。 根据提供...
PHP多线程批量采集下载美女图片的实现代码(续)
10-27
PHP实现多线程批量采集下载图片的代码是一个针对网络爬虫效率改进的实践示例。这篇文章可以看作是之前作品《PHP批量采集下载美女图片》的延伸，针对原有基于file_get_contents实现的图片采集方式进行优化。在原始...
多线程采集C# vs2010源代码
10-01
多线程采集的核心在于如何有效地分配任务和同步线程。在C#中，可以使用ThreadPool或Task Parallel Library (TPL)来更高效地管理线程。ThreadPool是一种系统级线程池，可以复用已创建的线程，避免频繁创建销毁线程的...
多线程采集，可以自定义URL链接，适用于各种爬虫获取数据。.zip
最新发布
01-02
在IT领域，多线程采集是一种常见的技术，用于提高程序执行效率，特别是在处理大量网络请求或数据抓取的任务中。本项目"多线程采集，可以自定义URL链接，适用于各种爬虫获取数据"显然是一个利用C#语言开发的系统，...
GPS.rar_GPS_GPS数据采集_GPS数据采集程序_gps 数据处理_多线程 采集
09-14
本压缩包“GPS.rar”包含了一个关于GPS数据采集程序的实例，该程序涉及到了多线程技术，使得数据采集更为高效。 首先，GPS数据采集是通过接收来自GPS卫星的信号，计算出接收器的位置、速度和时间信息。这个过程通常...
多线程提取活跃IP
06-10
没有限制，就是提前IP。可以随便用！！
pythonflask接口开发处理多线程请求_python - flask是如何处理多个访问请求的?
weixin_39932458的博客
12-20 2136
flask是如何处理多个访问请求的?假设服务器跑着这样一段简单的flask代码:app=Flask()@app.route('/')defindex():returnrender_temple('index.html')这时候服务器来了两个访问请求,这两个请求都被路由到@app.route('/').请问flask是如何同时处理这两个请求的 ? 如果我的代码没有实现任何并发功能,flask...
多线程的活跃性问题
qqqq0199181的博客
07-10 1043
死锁：两个线程相互等待对方释放资源 饥饿： 多线程并发时，优先级低的线程永远得不到执行 线程被永久阻塞在等待进入同步块的状态 等待的线程永远不被唤醒 活锁：活锁指的是任务或者执行者没有被阻塞，由于某些条件没有满足，导致一直重复尝试—失败—尝试—失败的过程。处于活锁的实体是在不断的改变状态，活锁有可能自行解开。 如何避免饥饿问题 对于优先级引发的饥饿问题，用setPriority设置...
android之Intent复杂数据的传递(ArrayList<Object>类型的数据)
随缘
07-22 1996
三、传递ArrayList 传递ArrayList的方法 1）首先在新建的项目工程里建立一个实现了Serializable接口的PersonInfo实体类，然后在其中添加若干属性并生成相应的set、get方法，具体代码如下： package zjh.android.bean;   import java.io.Serializable;   @SuppressWarn
Java 多线程核心技术梳理(附源码)
weixin_34085658的博客
04-18 442
本文对多线程基础知识进行梳理，主要包括多线程的基本使用，对象及变量的并发访问，线程间通信，lock的使用，定时器，单例模式，以及线程状态与线程组。 写在前面 花了一周时间阅读《java多线程编程核心技术》(高洪岩 著)，本文算是此书的整理归纳，书中几乎所有示例，我都亲手敲了一遍，并上传到了我的github上，有兴趣的朋友可以到我的gith...
python与C#的互相调用
热门推荐
马立弘
11-15 1万+
python与C#的互相调用一、C#调用python新建一个项目，添加引用：IronPython.dll，Microsoft.Scripting.dll（在IronPython的安装目录中）。创建一个文本文件命名为hello.py,把该文件添加的当前的项目中,并设置为总是输出。#hello.py def welcome(name): return "hello" + name调用hello.
asp.net使用Hangfire开发后台定时任务demo
马立弘
12-02 9503
一、新建webapi项目 WebApplicationWebApiHangfireSample在根目录添加Startup.cs文件using Hangfire; using Hangfire.MemoryStorage; using Microsoft.Owin; using Owin;[assembly: OwinStartup(typeof(WebApplicationWebApiHangfi
掌握C#多线程采集源代码的关键技术
针对标题“多线程采集C#源代码”，我们可以理解为利用多线程技术来搜集或处理C#语言编写的源代码，这在代码分析、调试或数据采集等场景中可能会用到。下面将详细解释这个过程中的关键知识点。 ### 1. C#基础 C#...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值