浅谈管道模型(Pipeline)

pipeline 详解 transformers库中的pipeline是一种极简方式使用大模型推理的抽象,将所有大模型分为语音(Audio)、计算机视觉(Computer vision)、自然语言处理(NLP)、多模态(Multimodal)等4大类,28小类任务(tasks)。 阅读详情


http://blog.youkuaiyun.com/yanghua_kobe/article/details/7561016

本篇和大家谈谈一种通用的设计与处理模型——Pipeline(管道)。

Pipeline简介

Pipeline模型最早被使用在Unix操作系统中。据称,如果说Unix是计算机文明中最伟大的发明,那么,Unix下的Pipe管道就是跟随Unix所带来的另一个伟大的发明【1】。我认为管道的出现,所要解决的问题,还是软件设计中老生常谈的设计目标——高内聚,低耦合。它以一种“链式模型”来串接不同的程序或者不同的组件,让它们组成一条直线的工作流。这样给定一个完整的输入,经过各个组件的先后协同处理,得到唯一的最终输出。

Pipeline模型的应用

以下列举了,我熟悉或者有所了解的典型pipeline模型的应用。

公司.net web程序员很多,那么首先就谈谈asp.net。一个http请求到达http服务器IIS之后,就是经过pipeline模型被处理的。参见下图:


说明一下,这幅图,并没有下面的图形来得直观。它的侧重点在于展示管道中各个组件处理事件触发的时序图,而不是pipeline模型。但如果你思考以下,也能体会到其中“管道”的概念(注意右面循环图标,如果需要比划一下的话,就是一个U逆时针旋转90度的形状)。

最后,我还是决定上个清晰点的图:


上图可以请求到达IIS,经过HttpApplication工厂得到一个HttpApplication,创建一个HttpContext上下文,然后就会进入Http Pipeline。好了,这篇的目标并不是谈论http处理行为以及asp.net底层架构,所以到此为止。

 

又一个大家熟悉的web container,特别是java web人员——Tomcat

Tomcat接受请求之后,请求从被接受,被分发,被处理,到最后转变成http响应,会走如下的管道【2】:


在《Tomcat系统架构与设计模式,第2部分: 设计模式分析》【3】中,你可以清晰地发现一个最为显而易见的设计模式——责任链模式(这是实现管道模型比较常用的一种设计模式)


可见,pipeline模型几乎是大部分主流http server处理请求的通用模型。这种设计并不意外,因为pipeline模型特定的理念会让你感觉到它似乎就是为了处理请求而生的。事实上,它的应用原不止这些web 服务器架构。

下面,给大家带来的另一个典型示例也是在web架构里广为人知的MVC模型的良好实践——Struts:


我认为用这幅图来阐述Pipeline最为清晰,简洁。从上面这幅图中你能够看到对于pipeline模型的多处使用(单向、双向都有)。它也很好地展示了高内聚,低耦合的设计目标,展示了各个组件以类似“搭建积木”的形式来组合功能(见图中Interceptor),我最近有空也在读struts2的源码,如果你也有兴趣,可以看看这个专题。

最后一个示例了,公司Java服务器的开发人员,相信都会对Mina框架有所了解。下面是Mina的处理模型图:


不再废话了,同样是pipeline的优秀实践。

上面介绍了很多pipeline的优秀实践,他们并非来自同一个领域,有web端,有处理socket的等。但对于他们的一个归纳,可以是——优秀的服务端数据处理模型,我觉得公司在数据处理上比较频繁,这也是选择介绍pipeline模型的原因。

Pipeline模型带来的启示

其实,关于它的好处已经在上面各种优秀的实践中得以体现。但你还是应该能够从中去发现一些能够为我们所用的设计思想。我总结了我得一些观点,欢迎各位拍砖:

(1)    工作流的参考模型

上面的各个模型图很难让我不把pipeline模型与工作流模型联想到一块儿去。他们都是链式的(或者说流程式的),就像一条生产线一样。各个组件的前后协同,会让你联想到生产流水线上得工人处理流过自己的产品环节。事实上,我在去年年末的时候在云方圆徐工基础任务流程里面曾经尝试使用了该模型,作为工作流模型。

(2)    服务framework的参考构建模型

Pipeline模型的一个特点是,在其内部是以组建的模式来实现组合的(虽然这些组建有先后顺序之分),它假如你把侧重点放在它的链式组合上,而不是将侧重点放在上面的工作流上(工作流的关注点是流程的先后顺序),那么完全可以用这种方式来搭建一个复杂的服务,当然这样做的前提是,单个组件的粒度必须尽可能小并且耦合性极低。

在这里我冒昧吐槽几句:

在我的印象中,公司很多服务都喜欢采用WebService,即使不是Web Service也是Http GET请求。当然,这其中的很多情况是不得不采用它来和别的系统或者业务平台交互。但我一直坚持认为,只有在理论上你根本没有可能拿到那些数据时,你才会采用别人提供的服务,比如:股票行情、天气预报、各大开放平台(新浪、支付宝)的API的等。本公司之内的,原则上其实可以访问的某些数据,有时我们反而退而求其次选择采用Web Service这种模式。批量数据走http或者之上的协议(SOAP)在网络上传输,有时web系统还有可能发布在远端。想要性能从哪儿来?我了解你担心安全性,希望保持本业务平台数据库的独立性。告诉我,其实你也明白有些担心是没有意义的。我直接连你的库,只做一些查询会有什么问题?如果你真的比较谨慎的话,你也应该担心一下你的系统有被攻击的可能性,为什么你没有呢。甚至有人希望,某些相似的业务逻辑也把他抽象出来在dll外面包装成web service。如果真得是这样的话,我觉得“可复用的组件”这个词就没有必要存在了。

Pipeline模型应用

刚才谈到,我认为Pipeline模型带来的启示,我个人更看好第二点。我认为在NGP构建API的时候,这种模型也能够派上大用场。

就拿Redis举个例子(在一些场景下):

读取数据流程

(1)    客户程序从Redis读取数据,如果读取到则返回

(2)    如果没有读取到,则从数据库抓取数据

(3)    从数据库抓取到的数据存储到Redis

写入数据流程

(1)    客户程序将数据写入Redis

(2)    将数据写入数据库

假如有一天,你不打算采用Redis,或者Redis服务全部不可用。你怎么让客户端自己能够“智能感知”,让这些巨大的后端变动对于客户端透明,并且不会产生调用异常?那么Pipeline模型,就可以派上用场。因为上面这些流程都是可配置的,而开放的API是唯一的。

你是否会觉得普通的封装也能够实现上面的读取数据流程?没错,也可以。但我认为Pipeline模型带来的:流程式(有序)+可拆卸(配置),比普通的封装机动性更好。

当然,这里只是选择了一个简单的场景来举个例子。

Pipeline模型实现

其实在上面那个Tomcat的设计模式截图中已经看到,实现该模型最通常的设计模式就是责任链模式,在上面工作流那篇文章中,也是采用责任链模式来实现,但我当时忽略了一个非常重要的东西——Context,这是串联整个Pipeline的重要前提。

你找到一篇任何介绍责任链模式的文章,然后搭配淘宝的《基于管道模式的容器设计》【4】就基本能够完全了解Pipeline。

Pipeline模式的缺点

没有那种模式是完美的。Pipeline模式的缺点是,每次它对于一个输入(或者一次请求)都必须从链头开始遍历(参考Http Server处理请求就能明白),这确实存在一定的性能损耗。

引用

【1】:Unix Pipes 管道原稿

【2】:Servlet工作原理解析

【3】:Tomcat系统架构与设计模式,第 2 部分: 设计模式分析

【4】:基于管道模式的容器设计


通俗易懂的解释sklearn.pipeline 什么是pipeline? 官方文档: Parameters steps : 步骤:列表(list) 被连接的(名称,变换)元组(实现拟合/变换)的列表,按照它们被连接的顺序,最后一个对象是估计器(estimator)。 memory:内存参数,Instance of sklearn.external.joblib.Memory or string, optional (default=None)... 阅读详情

相关推荐

【人工智能】Transformers 之 Pipeline(解析):30w + 大模型轻松上手

管道是一种使用模型进行推理的简单而好用的方法。这些管道是从库中抽象出大部分复杂代码的对象,提供了专用于多项任务的简单 API,包括命名实体识别、掩码语言建模、情感分析、特征提取和问答。在使用上,主要有2种方法使用task实例化pipeline对象使用model实例化pipeline对象。

2401_86518761的博客 2162

分布式缓存Redis之Pipeline(管道)

写在前面  本学习教程所有示例代码见GitHub:https://github.com/selfconzrr/Redis_Learning  Redis的pipeline(管道)功能在命令行中没有,但redis是支持pipeline的,而且在各个语言版的client中都有相应的实现。 由于网络开销延迟,就算redis server端有很强的处理能力,也会由于收到的client消息少,而造成吞吐量小。

ZhangRui的博客 9万+

docker-stream:用于在流数据处理管道中自动使用 docker 容器的 CLI 工具。 适用于 Windows、Mac 和 Linux

码头工人流 用于在流数据处理管道中自动使用 docker 容器的 CLI 工具。 适用于 Windows、Mac 和 Linux。 安装 npm install docker-stream -g 您还需要安装 。 如果你在 Linux 上,你应该只需要 docker。 如果你在 Mac/Windows 上,你应该安装 boot2docker。 用法 docker-stream <docker> 这仅适用中将设置为接受 STDIN 并写入 STDOUT/STDERR 的程序的容器。 通过管道传输到docker-stream将通过管道传输到 docker 容器的入口点,然后再次返回。 如果您使用尚未下载的容器运行docker-stream ,docker 会自动为您下载。 试试看 echo '{"foo": "bar"}' | docker-st

Pipeline管道模型的入门理解

转自vino Young博主的  浅谈管道模型(Pipeline)

u010426002的博客 1772

FPGA实现高效数字下变频:CORDIC与CIC滤波器的Verilog优化设计

本文深入探讨了FPGA实现高效数字下变频的技术方案,重点介绍了CORDIC算法与CIC滤波器的Verilog优化设计。通过详细的算法原理分析、FPGA实现技巧和实战经验分享,展示了如何利用CORDIC的旋转运算替代乘法操作,以及CIC滤波器在降采样中的高效性能。文章还提供了完整的系统集成方案和资源优化策略,为无线通信和雷达信号处理领域的工程师提供了实用参考。

redis7keeper的博客 724

块坐标下降法实战:如何用Python一步步优化无人机通信网络?

本文通过Python实战案例,详细介绍了块坐标下降法在优化无人机通信网络中的应用。文章以最大化网络吞吐量为目标,将复杂的非凸问题拆解为功率分配和轨迹规划两个子问题,并提供了完整的算法实现、代码示例及调参指南,为机器学习工程师解决类似优化问题提供了实用参考。

sat99的博客 976

ASP.NET 管道模型简析

你知道http请求是如何被我们应用程序处理? 你是否好奇在你使用的web框架中一个请求是如何到达你所指定的控制器? 那么好奇的你和好奇的我一起来学习探究吧! 什么是管道模型        首先有没有小伙伴思考过在.NET中WebForm、Mvc、Webapi 之类的框架做应用程序的开发部署之后,用户在浏览器或是利用HttpClient 输入URL地址请求之后是怎么到达我们的应用程序呢?中间又经

有梦想的鱼的博客 657

STM32中RS485方向控制引脚应用详解

深入解析STM32如何通过GPIO控制RS485通讯的方向引脚,实现半双工通信的精准切换。重点讲解硬件连接与软件时序配合,确保rs485通讯稳定可靠,适用于工业控制等实际场景。

weixin_42451850的博客 402

五分钟就能看懂pipeline模型 -Netty 源码解析

netty源码解析系列 Netty 源码解析系列-服务端启动流程解析 Netty 源码解析系列-客户端连接接入及读I/O解析 五分钟就能看懂pipeline模型 -Netty 源码解析 一、pipeline介绍 1. 什么是pipeline      pipeline 有管道,流水线的意思,最早使用在 Unix 操作系统中,可以让不同功能的程序相互通讯,使软件更加”高内聚,低耦合”,它以一...

weixin_34247299的博客 403

从Unitree B2W到四足机器人:用Isaac Lab构建强化学习奖励函数的5个实战技巧

本文分享了在Isaac Lab仿真环境中,为Unitree B2W等四足机器人设计强化学习奖励函数的5个核心实战技巧。内容涵盖奖励函数的结构化组合、轮腿混合机器人的适配策略、课程学习的动态调整、域随机化增强鲁棒性以及高效的调试可视化方法,旨在帮助开发者构建更稳定、高效的机器人运动策略。

lg888的博客 1066

iTunes登录协议逆向与自动化实现

本文详细解析了iTunes登录协议的逆向工程与自动化实现方法,涵盖请求体构造、签名生成和会话管理等关键技术。通过XML结构解析、X-Apple-ActionSignature生成原理及完整登录流程实现,帮助开发者高效完成iTunes自动化登录,提升工作效率。

weixin_26938645的博客 941
上一篇: iPhone开发之深入浅出 (7) — ARC总结
下一篇: 关于iOS应用设计的一些最佳实践
view1221
博客等级 码龄19年 4粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值