PHP高级编程之消息队列

python解析通达信dat与blk数据文件【附源码】 本文介绍了一个完整的通达信金融数据解析器项目,该项目攻克了通达信专有二进制文件格式解析的技术难题。项目采用模块化架构,从基础二进制解析到增强数据分类,最终实现智能语义化列名生成,形成完整的数据处理链路。核心技术包括自适应编码检测、智能数据类型推断和基于业务规则的语义化处理,解决了逆向工程、多编码兼容性等挑战。项目成果显著,解析成功率达100%,数据可读性大幅提升,开发效率提高50%,为量化交易、可视化分析等场景提供了可靠数据支持。该方案不仅具备技术创新性,更具有实际工程应用价值,为金融数据分析领域提供了可复 阅读详情

1. 什么是消息队列

消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式

2. 为什么使用消息队列

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读出。通过消息队列,应用程序可独立地执行,它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。

3. 什么场合使用消息队列

你首先需要弄清楚,消息队列与远程过程调用的区别,在很多读者咨询我的时候,我发现他们需要的是RPC(远程过程调用),而不是消息队列。

消息队列有同步或异步实现方式,通常我们采用异步方式使用消息队列,远程过程调用多采用同步方式。

MQ与RPC有什么不同? MQ通常传递无规则协议,这个协议由用户定义并且实现存储转发;而RPC通常是专用协议,调用过程返回结果。

4. 什么时候使用消息队列

同步需求,远程过程调用(PRC)更适合你。

异步需求,消息队列更适合你。

目前很多消息队列软件同时支持RPC功能,很多RPC系统也能异步调用。

消息队列用来实现下列需求
  1. 存储转发

  2. 分布式事务

  3. 发布订阅

  4. 基于内容的路由

  5. 点对点连接

5. 谁负责处理消息队列

通常的做法,如果小的项目团队可以有一个人实现,包括消息的推送,接收处理。如果大型团队,通常是定义好消息协议,然后各自开发各自的部分,例如一个团队负责写推送协议部分,另一个团队负责写接收与处理部分。

那么为什么我们不讲消息队列框架化呢?

框架化有几个好处:
  1. 开发者不用学习消息队列接口
  2. 开发者不需要关心消息推送与接收
  3. 开发者通过统一的API推送消息
  4. 开发者的重点是实现业务逻辑功能

6. 怎么实现消息队列框架

下面是作者开发的一个SOA框架,该框架提供了三种接口,分别是SOAP,RESTful,AMQP(RabbitMQ),理解了该框架思想,你很容易进一步扩展,例如增加XML-RPC, ZeroMQ等等支持。

https://github.com/netkiller/SOA

本文只讲消息队列框架部分。

6.1. 守护进程

消息队列框架是本地应用程序(命令行程序),我们为了让他在后台运行,需要实现守护进程。

https://github.com/netkiller/SOA/blob/master/bin/rabbitmq.php

每个实例处理一组队列,实例化需要提供三个参数,$queueName = '队列名', $exchangeName = '交换名', $routeKey = '路由'

$daemon = new \framework\RabbitDaemon($queueName = 'email', $exchangeName = 'email', $routeKey = 'email');
			

守护进程需要使用root用户运行,运行后会切换到普通用户,同时创建进程ID文件,以便进程停止的时候使用。

守护进程核心代码https://github.com/netkiller/SOA/blob/master/system/rabbitdaemon.class.php

6.2. 消息队列协议

消息协议是一个数组,将数组序列化或者转为JSON推送到消息队列服务器,这里使用json格式的协议。

$msg = array(
	'Namespace'=>'namespace',
	"Class"=>"Email",
	"Method"=>"smtp",
	"Param" => array(
		$mail, $subject, $message, null
	)
);			
			

序列化后的协议

{"Namespace":"single","Class":"Email","Method":"smtp","Param":["netkiller@msn.com","Hello"," TestHelloWorld",null]}			
			

使用json格式是考虑到通用性,这样推送端可以使用任何语言。如果不考虑兼容,建议使用二进制序列化,例如msgpack效率更好。

6.3. 消息队列处理

消息队列处理核心代码

https://github.com/netkiller/SOA/blob/master/system/rabbitmq.class.php

所以消息的处理在下面一段代码中进行

$this->queue->consume(function($envelope, $queue) {

	$speed = microtime(true);
	
	$msg = $envelope->getBody();
	$result = $this->loader($msg);
	$queue->ack($envelope->getDeliveryTag()); //手动发送ACK应答

	//$this->logging->info(''.$msg.' '.$result)
	$this->logging->debug('Protocol: '.$msg.' ');
	$this->logging->debug('Result: '. $result.' ');
	$this->logging->debug('Time: '. (microtime(true) - $speed) .'');
});
			

public function loader($msg = null) 负责拆解协议,然后载入对应的类文件,传递参数,运行方法,反馈结果。

Time 可以输出程序运行所花费的时间,对于后期优化十分有用。

提示

loader() 可以进一步优化,使用多线程每次调用loader将任务提交到线程池中,这样便可以多线程处理消息队列。

6.4. 测试

测试代码 https://github.com/netkiller/SOA/blob/master/test/queue/email.php

			
<?php
$queueName = 'example';
$exchangeName = 'email';
$routeKey = 'email';
$mail = $argv[1];
$subject = $argv[2];
$message = empty($argv[3]) ? 'Hello World!' : ' '.$argv[3];

 
$connection = new AMQPConnection(array(
	'host' => '192.168.4.1', 
	'port' => '5672', 
	'vhost' => '/', 
	'login' => 'guest', 
	'password' => 'guest'
	));
$connection->connect() or die("Cannot connect to the broker!\n");
 
$channel = new AMQPChannel($connection);
$exchange = new AMQPExchange($channel);
$exchange->setName($exchangeName);
$queue = new AMQPQueue($channel);
$queue->setName($queueName);
$queue->setFlags(AMQP_DURABLE);
$queue->declareQueue();

$msg = array(
	'Namespace'=>'namespace',
	"Class"=>"Email",
	"Method"=>"smtp",
	"Param" => array(
		$mail, $subject, $message, null
	)
);

$exchange->publish(json_encode($msg), $routeKey);
printf("[x] Sent %s \r\n", json_encode($msg));


$connection->disconnect();	
					
			

这里只给出了少量测试与演示程序,如有疑问请到渎者群,或者公众号询问。

7. 多线程

上面消息队列 核心代码如下

		
$this->queue->consume(function($envelope, $queue) {	
	$msg = $envelope->getBody();
	$result = $this->loader($msg);
	$queue->ack($envelope->getDeliveryTag());
});
		
		

这段代码生产环境使用了半年,发现效率比较低。有些业务场入队非常快,但处理起来所花的时间就比较长,容易出现队列堆积现象。

增加多线程可能更有效利用硬件资源,提高业务处理能力。代码如下

		
<?php
namespace framework;

require_once( __DIR__.'/autoload.class.php' );

class RabbitThread extends \Threaded {

	private $queue;
	public $classspath;
	protected $msg;

	public function __construct($queue, $logging, $msg) {
		$this->classspath = __DIR__.'/../queue';
		$this->msg = $msg;
		$this->logging = $logging;
		$this->queue = $queue;
	}
	public function run() {
		$speed = microtime(true);
		$result = $this->loader($this->msg);
		$this->logging->debug('Result: '. $result.' ');
		$this->logging->debug('Time: '. (microtime(true) - $speed) .'');
	}
	// private
	public  function loader($msg = null){
		
		$protocol 	= json_decode($msg,true);
		$namespace	= $protocol['Namespace'];
		$class 		= $protocol['Class'];
		$method 	= $protocol['Method'];
		$param 		= $protocol['Param'];
		$result 	= null;

		$classspath = $this->classspath.'/'.$this->queue.'/'.$namespace.'/'.strtolower($class)  . '.class.php';
		if( is_file($classspath) ){
			require_once($classspath);
			//$class = ucfirst(substr($request_uri, strrpos($request_uri, '/')+1));
			if (class_exists($class)) {
				if(method_exists($class, $method)){
					$obj = new $class;
					if (!$param){
						$tmp = $obj->$method();
						$result = json_encode($tmp);
						$this->logging->info($class.'->'.$method.'()');
					}else{
						$tmp = call_user_func_array(array($obj, $method), $param);
						$result = (json_encode($tmp));
						$this->logging->info($class.'->'.$method.'("'.implode('","', $param).'")');
					}
				}else{
					$this->logging->error('Object '. $class. '->' . $method. ' is not exist.');
				}
			}else{
				$msg = sprintf("Object is not exist. (%s)", $class);
				$this->logging->error($msg);
			}
		}else{
			$msg = sprintf("Cannot loading interface! (%s)", $classspath);
			$this->logging->error($msg);
		}
		return $result;
	}
}

class RabbitMQ {
	
	const loop = 10;
	
	protected $queue;
	protected $pool;
	
	public function __construct($queueName = '', $exchangeName = '', $routeKey = '') {

		$this->config = new \framework\Config('rabbitmq.ini');
		$this->logfile = __DIR__.'/../log/rabbitmq.%s.log';
		$this->logqueue = __DIR__.'/../log/queue.%s.log';
		$this->logging = new \framework\log\Logging($this->logfile, $debug=true);
 //.H:i:s
		
		$this->queueName	= $queueName;
		$this->exchangeName	= $exchangeName;
		$this->routeKey		= $routeKey; 

		$this->pool = new \Pool($this->config->get('pool')['thread']);

	}
	public function main(){
		
		$connection = new \AMQPConnection($this->config->get('rabbitmq'));
		try {
			$connection->connect();
			if (!$connection->isConnected()) {
				$this->logging->exception("Cannot connect to the broker!"
.PHP_EOL);
			}
			$this->channel = new \AMQPChannel($connection);
			$this->exchange = new \AMQPExchange($this->channel);
			$this->exchange->setName($this->exchangeName);
			$this->exchange->setType(AMQP_EX_TYPE_DIRECT); //direct类型
			$this->exchange->setFlags(AMQP_DURABLE); //持久�?
			$this->exchange->declareExchange();
			$this->queue = new \AMQPQueue($this->channel);
			$this->queue->setName($this->queueName);
			$this->queue->setFlags(AMQP_DURABLE); //持久�?
			$this->queue->declareQueue();

			$this->queue->bind($this->exchangeName, $this->routeKey);

			$this->queue->consume(function($envelope, $queue) {
				$msg = $envelope->getBody();
				$this->logging->debug('Protocol: '.$msg.' ');
				//$result = $this->loader($msg);
				$this->pool->submit(new RabbitThread($this->queueName, 
new \framework\log\Logging($this->logqueue, $debug=true), $msg));
				$queue->ack($envelope->getDeliveryTag()); 
			});
			$this->channel->qos(0,1);
		}
		catch(\AMQPConnectionException $e){
			$this->logging->exception($e->__toString());
		}
		catch(\Exception $e){
			$this->logging->exception($e->__toString());
			$connection->disconnect();
			$this->pool->shutdown();
		}
	}
	private function fault($tag, $msg){
		$this->logging->exception($msg);
		throw new \Exception($tag.': '.$msg);
	}

	public function __destruct() {
	}	
}
【OS】AUTOSAR OS系统调用产生Trap的过程详解 AUTOSAR OS系统调用产生Trap的过程详解 阅读详情

相关推荐

【AMD显卡在WIndow10/11部署带GPU支持的深度学习环境(Pytorch-DirectML篇)】

这篇是之前Tensorflow-DirectML的姊妹篇,如果对TF感兴趣的可以搜索我的博文。 首先我们丢一个官网地址,但是官网那个会误导新人如果你按那个操作的话。 https://docs.microsoft.com/en-us/windows/ai/directml/gpu-pytorch-windows 这里用我的方法操作: 首先声明一下,因为我的显卡是AMD RX6600,不带XT(性能和RTX3060 12G版本半斤八两),所以目前没有最新的WSL2驱动,如果有了的话欢迎告知我,所以我这里就.

weixin_44029053的博客 2万+

PHP RabbitMQ消息持久化以及手动应答

rabbitmq手动应答PHP

s1095622320的博客 778

GROMACS新手必看:从PDB文件到完整分子动力学模拟的保姆级教程

本文提供GROMACS分子动力学模拟的保姆级教程,从PDB文件处理到完整模拟流程全覆盖。详细讲解结构预处理、系统构建、能量最小化、生产模拟等关键步骤,并分享性能优化和结果分析技巧,帮助新手快速掌握分子动力学模拟的核心操作。

yhn456789的博客 769

php使用rabbitmq声明队列$channel->queue_declare($config[‘queue_name‘], false, true, false, false);中各参数的含义

这里设置为 `false`,意味着队列是非持久化的,RabbitMQ 服务重启后队列将会丢失。如果设置为 `true`,则不会创建队列,而是检查队列是否存在。总结起来,这段代码的意义是声明一个非持久化、排他性的队列,该队列不会因为消费者取消订阅而自动删除,并且如果队列不存在则会创建它。如果设置为 `true`,则队列只允许当前连接访问,并且在连接关闭时会自动删除队列。- `false` (auto_delete): 第四个参数表示当最后一个消费者取消订阅时,队列是否应该自动删除。

wutao1993的博客 695

最小路径和——动态规划求解(Java实现)

最小路径和——动态规划求解(Java实现) 题目: 给定一个包含非负整数的 m x n 网格,请找出一条从左上角到右下角的路径,使得路径上的数字总和为最小。 说明:每次只能向下或者向右移动一步。 示例: 输入: [ [1,3,1], [1,5,1], [4,2,1] ] 输出: 7 解释: 因为路径 1→3→1→1→1 的总和最小。 这题和机器人走路的思路类似,就是状态方程有所不同,...

weixin_43395911的博客 896

【理论&实战篇】大模型RAG技术详解(一)-基础篇

RAG的初衷是为了增强大模型的事实性、时效性,减少幻觉,引入专业知识优化生成回复,是一种结合了信息检索技术与语言生成模型的人工智能技术。通过,并将其作为提示(Prompt)输入给大模型(LLM),来。

qq_41375680的博客 377

php 消息队列_PHP实现消息队列MQ

1、MQ的应用场景  优点:    a)主要解决异步消息    b)应用解耦    c)流量消峰等问题    d)日志处理(kafka)  缺点:    a)系统可用性降低:你想啊,本来其他系统只要运行好好的,那你的系统就是正常的。现在你非要加个消息队列进去,那消息队列挂了,你的系统不是呵呵了。因此,系统可用性降低    b)系统复杂性增加:要多考虑很多方面的问题,比如一致性问题、如何保证消息不被...

weixin_39611275的博客 715

先进封装技术 Part03---重布线层(RDL)的科普

RDL是一种在芯片封装过程中用于重新分布电气连接的技术。它通过在芯片表面或中介层上形成额外的布线层,重新分配芯片的I/O(输入/输出)位置,以适应不同的封装需求和提高电气连接的灵活性。

阿拉伯梳子的专栏 4711

php 队列实现

1.PHP 简单队列 //数组 $array = array('php','java'); //入队列 array_push 数组尾部插入元素 array_push( $array, 'python' ); //输出数组 print_r($array); //array('php','java','python') //出队列 array_shift //数组头部剔除元素 array_shift( $array ); //输出数组 print_r($array);

懒人博客 1517

LPDDR6来了!带你一文看懂它和LPDDR5/5X的差距 + 技术演进逻辑全解析

🧠从速率到架构,从总线宽度到协议设计,LPDDR6 每一个改动都不是拍脑袋做的,它针对的是AI / HPC / 云计算 / 下一代笔记本平台的真实需求。作为工程师的我们,不仅要“用得上”,更要“测得准”,因为没有测试验证,就没有量产落地!🎯LPDDR6不是未来,而是现在进行时!

weixin_43199439的博客 2181

网工、运维利器:MobaXterm,一款全能的远程工具

你好,这里是网络技术联盟站,我是瑞哥。是一款由Mobatek开发的多功能远程计算机管理工具,集成了多种网络协议和工具,专为网络工程师和系统管理员设计。它提供了丰富的远程连接功能,包括SSH、RDP、VNC、X11转发等,支持文件传输和多标签界面,内置了文本编辑器和多种网络工具,是一款全能的远程管理软件。MobaXterm的开发起始于2008年,最初只是一个简单的X服务器,但随着用户需求的不断增加和软件的逐步完善,MobaXterm逐渐发展成了一款功能全面、界面友好的远程管理工具。

网络技术联盟站 5231

php java 消息队列_PHP高级编程之消息队列原理与实现方法详解

本文实例讲述了PHP高级编程之消息队列原理与实现方法。分享给大家供大家参考,具体如下:1. 什么是消息队列消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式2. 为什么使用消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读出。通过消息队列,应用程序可独立地执行,它们不需要知道彼此的位置、或在...

weixin_35851654的博客 191

以 Cloud 为核心的设备 mTLS 证书体系:从产品需求到 OP-TEE 安全落地

本文探讨了以云端为核心的物联网设备mTLS证书体系构建方案。文章从产品需求出发,分析了云端必须采用mTLS+证书体系管理设备身份的原因,指出静态Token方案的三大缺陷:身份不可控、运营不可控和审计不可控。重点阐述了mTLS在产品中的核心功能是加密传输和双向认证,并详细列出了云端PKI、设备注册中心等必备组件。在设备侧,强调必须通过OP-TEE技术保护私钥安全,提出了一个包含密钥生成、CSR导出等功能的TA设计方案。最后,文章给出了云端端到端流程示例,说明如何将证书生命周期管理转化为可运营的产品能力,包括自

Interview_TC的博客 642

PHP 高级编程之 消息队列

1. 什么是消息队列 消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式 2. 为什么使用消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读出。通过消息队列,应用程序可独立地执行,它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。 3. 

黑礼服丶弑魂 586

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

msgpack使用 php_PHP高级编程之消息队列

PHP高级编程之消息队列http://netkiller.github.io/journal/php.mq.htmlMr. Neo Chen (陈景峯), netkiller, BG7NYT中国广东省深圳市龙华新区民治街道溪山美地518131+86 13113668890<netkiller@msn.com>版权声明转载请与作者联系,转载时请务必标明文章原始出处和作者信息及本声明。目录...

weixin_28880179的博客 343

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

php消息 原理,PHP高级编程之消息队列原理与实现方法详解

本文实例讲述了PHP高级编程之消息队列原理与实现方法。分享给大家供大家参考,具体如下:什么是消息队列消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式为什么使用消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读出。通过消息队列,应用程序可独立地执行,它们不需要知道彼此的位置、或在继续执行前不...

weixin_39797912的博客 170

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

PHP 高级编程之多线程-消息队列

1. 多线程环境安装 1.1. PHP 5.5.9 安装PHP 5.5.9 https://github.com/oscm/shell/blob/master/php/5.5.9.sh ./configure --prefix=/srv/php-5.5.9 \ --with-config-file-path=/srv/php-5.5.9/etc \ --with-config-fil

sb___itfk的专栏 3638

php多线程与消息队列,PHP 高级编程之多线程-消息队列

Home|Mirror|Search|杂文|ITEYE 博客|OSChina 博客|51CTO 博客|Linkedin1.多线程环境安装1.1.PHP 5.5.9安装PHP 5.5.9./configure --prefix=/srv/php-5.5.9 \--with-config-file-path=/srv/php-5.5.9/etc \--with-config-file-scan-d...

weixin_36168447的博客 632

php编写队列类实现队列接口,关于php:PHP高级编程之消息队列原理与实现方法详解...

本文实例讲述了PHP高级编程之音讯队列原理与实现办法。分享给大家供大家参考,具体如下:什么是音讯队列音讯队列(英语:Message queue)是一种过程间通信或同一过程的不同线程间的通信形式【腾讯云】云产品限时秒杀,爆款1核2G云服务器,首年99元为什么应用音讯队列音讯队列技术是分布式应用间替换信息的一种技术。音讯队列可驻留在内存或磁盘上,队列存储音讯直到它们被应用程序读出。通过音讯队列,应用程...

weixin_34079177的博客 185

PHP技术栈

本文旨在给要学习 PHP 的新手一个大概的认知轮廓,在心里有个学习的结构,有的放矢,避免走太多弯路。大神请忽略。 入门阶段 预备知识 1、掌握基本HTML、JS、CSS语法;熟悉 Bootstrap。 参考: https://www.runoob.com/html/html-tutorial.html https://www.liaoxuefeng.com/wiki/102291082114931...

weixin_33946605的博客 1055

linux离线安装php7,linux 安装php7 详细步骤

安装php扩展服务:wget-Ophp7.tar.gzhttp://cn2.php.net/get/php-7.1.1.tar.gz/from/this/mirrortar-xfphp7.tar.gzcdphp-7.1.1yuminstall-yepel-releaseyuminstall-ylibxml2libxml2-developensslopenssl-dev...

weixin_32311823的博客 1075
上一篇: Windows下安装并设置Redis
下一篇: 分块查询 缓解内存开销
waveclouds
博客等级 码龄10年 29粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值