一个Linux下C线程池的实现

35-dify案例分享-手把手教你打造 Markdown 转 Word 自定义智能体 本文围绕实现 Dify 聊天历史记录一键保存为 Word 文档展开。首先尝试使用 dify 市场上的 markdown 转 word 插件,创建 AI 智能体并配置插件后虽能生成文档,但下载报错。接着决定自行开发插件,分两步进行:先制作包含 markdown 转 word 的工作流,通过开始节点、HTTP 请求调用后端服务、结束节点完成,给出服务端代码;再将工作流发布成工具。最后创建自定义智能体,添加自定义工作流并测试,成功实现用 markdown 生成可下载的 Word 文档,还分享了相关开源项目地址。 阅读详情

      线程池的想法就是:最多开MAX_NUM个线程,将任务链接成链表,每个线程从链表里面拿任务(使用回调函数)完成,完成之后不销毁线程,继续从链表里面拿任务来完成直到所有任务都完成。这样就节省了频繁开启和销毁线程的开销。

      

    什么时候需要创建线程池呢?简单的说,如果一个应用需要频繁的创建和销毁线程,而任务执行的时间又非常短,这样线程创建和销毁的带来的开销就不容忽视,这时也是线程池该出场的机会了。如果线程创建和销毁时间相比任务执行时间可以忽略不计,则没有必要使用线程池了。


   下面是Linux系统下用C语言创建的一个线程池。线程池会维护一个任务链表(每个CThread_worker结构就是一个任务)。
   pool_init()函数预先创建好max_thread_num个线程,每个线程执thread_routine ()函数。该函数中
  1. while (pool->cur_queue_size == 0)
  2. {
  3.        pthread_cond_wait (&(pool->queue_ready),&(pool->queue_lock));
  4. }
表示如果任务链表中没有任务,则该线程出于阻塞等待状态。否则从队列中取出任务并执行。
   
   pool_add_worker()函数向线程池的任务链表中加入一个任务,加入后通过调用pthread_cond_signal (&(pool->queue_ready))唤醒一个出于阻塞状态的线程(如果有的话)。
   
   pool_destroy ()函数用于销毁线程池,线程池任务链表中的任务不会再被执行,但是正在运行的线程会一直把任务运行完后再退出。

下面贴出完整代码
  1. #include <stdio.h>
  2. #include <stdlib.h>
  3. #include <unistd.h>
  4. #include <sys/types.h>
  5. #include <pthread.h>
  6. #include <assert.h>

  7. /*
  8. *线程池里所有运行和等待的任务都是一个CThread_worker
  9. *由于所有任务都在链表里,所以是一个链表结构
  10. */
  11. typedef struct worker
  12. {
  13.     /*回调函数,任务运行时会调用此函数,注意也可声明成其它形式*/
  14.     void *(*process) (void *arg);
  15.     void *arg;/*回调函数的参数*/
  16.     struct worker *next;

  17. } CThread_worker;


  18. /*线程池结构*/
  19. typedef struct
  20. {
  21.      pthread_mutex_t queue_lock;
  22.      pthread_cond_t queue_ready;

  23.     /*链表结构,线程池中所有等待任务*/
  24.      CThread_worker *queue_head;

  25.     /*是否销毁线程池*/
  26.     int shutdown;
  27.      pthread_t *threadid;
  28.     /*线程池中允许的活动线程数目*/
  29.     int max_thread_num;
  30.     /*当前等待队列的任务数目*/
  31.     int cur_queue_size;

  32. } CThread_pool;


  33. int pool_add_worker (void *(*process) (void *arg), void *arg);
  34. void *thread_routine (void *arg);


  35. static CThread_pool *pool = NULL;
  36. void
  37. pool_init (int max_thread_num)
  38. {
  39.      pool = (CThread_pool *) malloc (sizeof (CThread_pool));

  40.      pthread_mutex_init (&(pool->queue_lock), NULL);
  41.      pthread_cond_init (&(pool->queue_ready), NULL);

  42.      pool->queue_head = NULL;

  43.      pool->max_thread_num = max_thread_num;
  44.      pool->cur_queue_size = 0;

  45.      pool->shutdown = 0;

  46.      pool->threadid =
  47.          (pthread_t *) malloc (max_thread_num * sizeof (pthread_t));
  48.     int i = 0;
  49.     for (i = 0; i < max_thread_num; i++)
  50.      {
  51.          pthread_create (&(pool->threadid[i]), NULL, thread_routine,
  52.                  NULL);
  53.      }
  54. }


  55. /*向线程池中加入任务*/
  56. int
  57. pool_add_worker (void *(*process) (void *arg), void *arg)
  58. {
  59.     /*构造一个新任务*/
  60.      CThread_worker *newworker =
  61.          (CThread_worker *) malloc (sizeof (CThread_worker));
  62.      newworker->process = process;
  63.      newworker->arg = arg;
  64.      newworker->next = NULL;/*别忘置空*/

  65.      pthread_mutex_lock (&(pool->queue_lock));
  66.     /*将任务加入到等待队列中*/
  67.      CThread_worker *member = pool->queue_head;
  68.     if (member != NULL)
  69.      {
  70.         while (member->next != NULL)
  71.              member = member->next;
  72.          member->next = newworker;
  73.      }
  74.     else
  75.      {
  76.          pool->queue_head = newworker;
  77.      }

  78.      assert (pool->queue_head != NULL);

  79.      pool->cur_queue_size++;
  80.      pthread_mutex_unlock (&(pool->queue_lock));
  81.     /*好了,等待队列中有任务了,唤醒一个等待线程;
  82.      注意如果所有线程都在忙碌,这句没有任何作用*/
  83.      pthread_cond_signal (&(pool->queue_ready));
  84.     return 0;
  85. }


  86. /*销毁线程池,等待队列中的任务不会再被执行,但是正在运行的线程会一直
  87. 把任务运行完后再退出*/
  88. int
  89. pool_destroy ()
  90. {
  91.     if (pool->shutdown)
  92.         return -1;/*防止两次调用*/
  93.      pool->shutdown = 1;

  94.     /*唤醒所有等待线程,线程池要销毁了*/
  95.      pthread_cond_broadcast (&(pool->queue_ready));

  96.     /*阻塞等待线程退出,否则就成僵尸了*/
  97.     int i;
  98.     for (i = 0; i < pool->max_thread_num; i++)
  99.          pthread_join (pool->threadid[i], NULL);
  100.      free (pool->threadid);

  101.     /*销毁等待队列*/
  102.      CThread_worker *head = NULL;
  103.     while (pool->queue_head != NULL)
  104.      {
  105.          head = pool->queue_head;
  106.          pool->queue_head = pool->queue_head->next;
  107.          free (head);
  108.      }
  109.     /*条件变量和互斥量也别忘了销毁*/
  110.      pthread_mutex_destroy(&(pool->queue_lock));
  111.      pthread_cond_destroy(&(pool->queue_ready));
  112.     
  113.      free (pool);
  114.     /*销毁后指针置空是个好习惯*/
  115.      pool=NULL;
  116.     return 0;
  117. }


  118. void *
  119. thread_routine (void *arg)
  120. {
  121.      printf ("starting thread 0x%x\n", pthread_self ());
  122.     while (1)
  123.      {
  124.          pthread_mutex_lock (&(pool->queue_lock));
  125.         /*如果等待队列为0并且不销毁线程池,则处于阻塞状态; 注意
  126.          pthread_cond_wait是一个原子操作,等待前会解锁,唤醒后会加锁*/
  127.         while (pool->cur_queue_size == 0 && !pool->shutdown)
  128.          {
  129.              printf ("thread 0x%x is waiting\n", pthread_self ());
  130.              pthread_cond_wait (&(pool->queue_ready), &(pool->queue_lock));
  131.          }

  132.         /*线程池要销毁了*/
  133.         if (pool->shutdown)
  134.          {
  135.             /*遇到break,continue,return等跳转语句,千万不要忘记先解锁*/
  136.              pthread_mutex_unlock (&(pool->queue_lock));
  137.              printf ("thread 0x%x will exit\n", pthread_self ());
  138.              pthread_exit (NULL);
  139.          }

  140.          printf ("thread 0x%x is starting to work\n", pthread_self ());

  141.         /*assert是调试的好帮手*/
  142.          assert (pool->cur_queue_size != 0);
  143.          assert (pool->queue_head != NULL);
  144.         
  145.         /*等待队列长度减去1,并取出链表中的头元素*/
  146.          pool->cur_queue_size--;
  147.          CThread_worker *worker = pool->queue_head;
  148.          pool->queue_head = worker->next;
  149.          pthread_mutex_unlock (&(pool->queue_lock));

  150.         /*调用回调函数,执行任务*/
  151.          (*(worker->process)) (worker->arg);
  152.          free (worker);
  153.          worker = NULL;
  154.      }
  155.     /*这一句应该是不可达的*/
  156.      pthread_exit (NULL);
  157. }

    下面是测试代码
  1. void *
  2. myprocess (void *arg)
  3. {
  4.      printf ("threadid is 0x%x, working on task %d\n", pthread_self (),*(int *) arg);
  5.      sleep (1);/*休息一秒,延长任务的执行时间*/
  6.     return NULL;
  7. }

  8. int
  9. main (int argc, char **argv)
  10. {
  11.      pool_init (3);/*线程池中最多三个活动线程*/
  12.     
  13.     /*连续向池中投入10个任务*/
  14.     int *workingnum = (int *) malloc (sizeof (int) * 10);
  15.     int i;
  16.     for (i = 0; i < 10; i++)
  17.      {
  18.          workingnum[i] = i;
  19.          pool_add_worker (myprocess, &workingnum[i]);
  20.      }
  21.     /*等待所有任务完成*/
  22.      sleep (5);
  23.     /*销毁线程池*/
  24.      pool_destroy ();

  25.      free (workingnum);
  26.     return 0;
  27. }
将上述所有代码放入threadpool.c文件中,
在Linux输入编译命令
$ gcc -o threadpool threadpool.c -lpthread

以下是运行结果
starting thread 0xb7df6b90
thread 0xb7df6b90 is waiting
starting thread 0xb75f5b90
thread 0xb75f5b90 is waiting
starting thread 0xb6df4b90
thread 0xb6df4b90 is waiting
thread 0xb7df6b90 is starting to work
threadid is 0xb7df6b90, working on task 0
thread 0xb75f5b90 is starting to work
threadid is 0xb75f5b90, working on task 1
thread 0xb6df4b90 is starting to work
threadid is 0xb6df4b90, working on task 2
thread 0xb7df6b90 is starting to work
threadid is 0xb7df6b90, working on task 3
thread 0xb75f5b90 is starting to work
threadid is 0xb75f5b90, working on task 4
thread 0xb6df4b90 is starting to work
threadid is 0xb6df4b90, working on task 5
thread 0xb7df6b90 is starting to work
threadid is 0xb7df6b90, working on task 6
thread 0xb75f5b90 is starting to work
threadid is 0xb75f5b90, working on task 7
thread 0xb6df4b90 is starting to work
threadid is 0xb6df4b90, working on task 8
thread 0xb7df6b90 is starting to work
threadid is 0xb7df6b90, working on task 9
thread 0xb75f5b90 is waiting
thread 0xb6df4b90 is waiting
thread 0xb7df6b90 is waiting
thread 0xb75f5b90 will exit
thread 0xb6df4b90 will exit
thread 0xb7df6b90 will exit
Word自动化生成:DIFY工作流高效排版方案 在现代办公环境中,文档的自动化生成和规范排版是提高工作效率的关键。DIFY 工作流通过智能化的流程设计,结合 Word 的自动化接口,实现了高效、规范的文档生成与排版。以下方案详细介绍了如何利用 DIFY 工作流实现这一目标。DIFY 工作流的核心在于其模块化设计和自动化触发机制。通过 Python 和 VBA 的结合,可以实现从数据源到 Word 文档的全流程自动化。库,可以动态生成 Word 文档。通过 Python 的。 阅读详情

相关推荐

使用 Dify 创建自然语言生成 Word 文档的应用(详细指南)

使用 Dify 创建自然语言生成 Word 文档的应用(详细指南)

engchina的专栏 7997

[Dify实战] OA 公文排版助手:自动格式化、编号、生成摘要-带配套资源

摘要: Dify 公文排版助手通过自动化解决公文处理中的格式混乱、编号错漏等问题。支持标题层级自动编号、摘要生成、要素补全等功能,输出标准化Markdown格式。核心流程包括输入原文、智能识别、自动排版与要素输出,适用于通知、纪要等场景。实施需统一模板规则,规范输入格式,并通过试跑优化纠错率与处理效率。关键价值在于减少人工返工,提升排版一致性,未来可对接OA系统实现全流程自动化。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 475

Dify自定义工具:一键导出带格式的Word文档(.docx),告别手动排版

您是否还在为如何将Dify智能体(Agent)生成的内容导出为格式精美的Word文档而烦恼?是否已经厌倦了从Dify复制纯文本,再到Word中手动调整标题、列表、加粗和斜体的繁琐过程? 本资源为您提供一个即插即用的Dify自定义工具(Tool),完美解决了这一痛点。它能够直接将Dify应用生成的内容,一键转换并导出为保留了原始格式的 .docx 文件,让您的工作流程实现真正的自动化和高效化,大幅提升生产力

【自动化文档处理】基于Dify工作流的批量文档自动化总结系统设计与实现:支持多格式输入及结构化输出

内容概要:本文详细介绍了利用Dify工作流实现文档批量自动化总结的方法,支持多种格式(PDF、Word、TXT),并以结构化的Markdown格式输出结果。首先进行环境准备,包括账号注册、API密钥获取和Python环境配置。接着,通过Dify控制台创建新工作流“批量文档总结器”,添加文档处理节点,配置AI总结节点和设置输出格式。本地执行代码部分展示了创建`batch_process.py`脚本的具体步骤,包括文件加载、文本提取、AI总结处理和结果保存。最后,文章还提供了进阶优化技巧如长文档分段处理、自动归档和API限流处理,以及性能测试数据和技术栈介绍。 适合人群:对自动化文档处理感兴趣的开发者或研究人员,尤其是有一定编程基础并希望提高工作效率的人士。 使用场景及目标:①快速搭建自动化文档处理系统,减少手动操作;②适用于需要频繁处理大量文档的场景,如文献综述、市场调研报告等;③通过优化技巧提升处理效率和准确性。 阅读建议:本文不仅提供了详细的搭建步骤,还包括了性能测试数据和进阶优化技巧,建议读者在实践中逐步尝试文中提到的功能,并根据自身需求调整参数设置。

三维点云孔洞修复(附Python代码和公共点云数据集链接)

(1)物体自身缺失(2)物体自身形状复杂,很多凹凸面不够规则甚至存在空腔,空腔内部无法被三维激光扫描仪扫描到(3)物体部分区域对激光扫描不敏感,未被扫描上(4)扫描仪的扫描稳定性。

yanghl1215的博客 6956

Python制作【大麦网】自动抢票程序

Python 的迅速崛起对整个行业来说都是极其有利的,但“人红是非多”,导致它平添了许许多多的批评,不过依旧挡不住它火爆的发展势头。如果你对Python感兴趣,想要学习pyhton,这里给大家分享一份Python全套学习资料,都是我自己学习时整理的,希望可以帮到你,一起加油!😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓点击这里。

mate1357的博客 2万+

基于Stateflow的驱动电机控制系统模式管理与安全策略研究

摘要 本文基于Stateflow状态机建模工具,研究了驱动电机控制系统的模式管理架构与安全策略实现方法。通过分析电机控制系统的工作模式,设计了包含初始化、待机、校准、对齐、运行、故障、复位七种状态的有限状态机模型,并建立了三级故障处理机制和降额保护策略。基于Simulink/Stateflow搭建的仿真模型实现了模式切换逻辑和安全管理功能,验证了系统能够正确响应各类控制事件,故障处理机制可有效保护系统安全。研究成果为电动汽车电机控制系统的工程开发提供了参考。 关键词:Stateflow;驱动电机控制;模式管

AI的内部世界的博客 59

tongweb中间件selectApp.jsp存在任意文件上传(含批量验证poc)

tongweb中间件selectApp.jsp存在任意文件上传(含批量验证poc)

weixin_43567873的博客 1990

李航《统计学习方法》课后习题答案(第2版)

李航《统计学习方法》课后习题答案(第2版) 章节 链接 第1章 统计学习及监督学习概论 点击进入 第2章 感知机 点击进入 第3章 k近邻法 点击进入 第4章 朴素贝叶斯法 点击进入 第5章 决策树 点击进入 第6章 逻辑斯谛回归与最大熵 点击进入 第7章 支持向量机 点击进入 第8章 提升方法 点击进入 第9章 EM算法及其推广 点击进入 第10章 隐马尔可夫模型 点击进入 第11章 条件随机场 点击进入     也可进入我的个人主页查看分类专栏

weixin_43646592的博客 2万+

Nature Communications|马兰戈尼效应构建空心金字塔微阵列制备高灵敏度柔性电容式压力传感器(健康监测/柔性压力传感/柔性电子/人机交互)

三维(3D)微结构因其在柔软性、轻质化、对3D表面的贴合性和可压缩性方面的显著优势,已经在生物医学监测、人机接口、机器人触觉和微型飞行器等领域引起了广泛关注。柔性电容式压力传感器(CPSs),由两片平行板组成,中间夹着一层软介电薄膜,具有设备构造简单、高灵敏度和快速响应速度等众多吸引人的优点。结构化介电层的三维机械设计在决定传感器性能方面起着至关重要的作用,如灵敏度(这是压力传感器的关键特性,因为它决定了感知微小压力和获取更多细节的能力,如轻柔触摸和脉搏检测)。

感知科学前沿 527

5.1 rocr-runtime libhsakmt event 机制全景—从 Doorbell 到 Signal

本文介绍了ROCm/KFD中的Event机制架构,主要解决GPU异步计算中的反馈问题。Event机制分为三层:硬件层触发事件,内核层管理事件通知,用户态接收处理。事件类型分为三大类:同步类事件(如SIGNAL、QUEUE_EVENT)用于任务完成通知,异常类事件(如MEMORY、HW_EXCEPTION)报告错误,拓扑类事件(如NODECHANGE)处理设备变更。该机制通过共享内存和中断实现高效通信,避免CPU轮询开销。后续文章将深入内核实现、Thunk层封装和多队列完成检测实战。

图形/计算GPU的驱动与虚拟化技术分享园地 1310

深入剖析 Wenet 下 AISHELL-1 的 run.sh 脚本:从数据准备到模型训练

run.sh脚本用于处理 AISHELL-1 数据集的整个训练和测试流程。我们将逐步分析脚本中的每个部分,包括环境变量、参数设置、各个阶段的执行等。stage: 设置脚本的起始阶段(如数据准备)。stop_stage: 设置脚本的结束阶段。通过对 Wenet 下 AISHELL-1 的run.sh脚本的详细剖析,我们希望你能更好地理解每个步骤的功能及其背后的原理。此脚本不仅为模型训练提供了便利,也为用户自定义和扩展训练流程提供了基础。希望本教程能帮助你顺利完成语音识别项目!

帅小柏的博客 1635

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: 浅析malloc()的几种实现方式
下一篇: 关于二叉查找树的一些题目
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值