本文深入解析了消息队列的工作原理及其实现机制，探讨了消息队列如何克服信号和管道等传统通信方式的局限性。文章详细介绍了消息队列的内核持久性特点，以及如何通过键值创建和管理消息队列。此外，还提供了具体的API调用示例，帮助开发者更好地理解和使用消息队列。
消息队列是消息的链接表，包括Posix消息队列system V消息队列。有足够权限的进程可以向队列中添加消息，被赋予读权限的进程则可以读走队列中的消息。消息队列克服了信号承载信息量少，管道只能承载无格式字节流以及缓冲区大小受限等缺点。消息队列是随内核持续的。
IPC持续概念
|
随进程持续 |
IPC一直存在到打开IPC对象的最后一个进程关闭该对象为止。如管道和有名管道； |
|
随内核持续 |
IPC一直持续到内核重新自举或者显示删除该对象为止。如消息队列、信号灯以及共享内存等； |
|
随文件系统持续 |
IPC一直持续到显示删除该对象为止。 |
消息队列的基本概念
系统V消息队列是随内核持续的，只有在内核重启或者显示删除一个消息队列时，该消息队列才会真正被删除。因此系统中记录消息队列的数据结构（struct ipc_ids msg_ids）位于内核中，系统中的所有消息队列都可以在结构msg_ids中找到访问入口。
消息队列就是一个消息的链表。每个消息队列都有一个队列头，用结构struct msg_queue来描述。队列头中包含了该消息队列的大量信息，包括消息队列键值、用户ID、组ID、消息队列中消息数目等等，甚至记录了最近对消息队列读写进程的ID。读者可以访问这些信息，也可以设置其中的某些信息。
结构msg_queue用来描述消息队列头，存在于系统空间：
struct msg_queue {
struct kern_ipc_perm q_perm;
time_t q_stime; /* last msgsnd time */
time_t q_rtime; /* last msgrcv time */
time_t q_ctime; /* last change time */
unsigned long q_cbytes; /* current number of bytes on queue */
unsigned long q_qnum; /* number of messages in queue */
unsigned long q_qbytes; /* max number of bytes on queue */
pid_t q_lspid; /* pid of last msgsnd */
pid_t q_lrpid; /* last receive pid */
struct list_head q_messages;
struct list_head q_receivers;
struct list_head q_senders;
};
结构msqid_ds用来设置或返回消息队列的信息，存在于用户空间：
struct msqid_ds {
struct ipc_perm msg_perm;
struct msg *msg_first; /* first message on queue,unused */
struct msg *msg_last; /* last message in queue,unused */
__kernel_time_t msg_stime; /* last msgsnd time */
__kernel_time_t msg_rtime; /* last msgrcv time */
__kernel_time_t msg_ctime; /* last change time */
unsigned long msg_lcbytes; /* Reuse junk fields for 32 bit */
unsigned long msg_lqbytes; /* ditto */
unsigned short msg_cbytes; /* current number of bytes on queue */
unsigned short msg_qnum; /* number of messages in queue */
unsigned short msg_qbytes; /* max number of bytes on queue */
__kernel_ipc_pid_t msg_lspid; /* pid of last msgsnd */
__kernel_ipc_pid_t msg_lrpid; /* last receive pid */
};
下图说明了内核与消息队列是怎样建立起联系的：
其中：struct ipc_ids msg_ids是内核中记录消息队列的全局数据结构；struct msg_queue是每个消息队列的队列头。
从上图可以看出，全局数据结构 struct ipc_ids msg_ids 可以访问到每个消息队列头的第一个成员：struct kern_ipc_perm；而每个struct kern_ipc_perm能够与具体的消息队列对应起来是因为在该结构中，有一个key_t类型成员key，而key则唯一确定一个消息队列。 kern_ipc_perm结构如下：
struct kern_ipc_perm{ //内核中记录消息队列的全局数据结构msg_ids能够访问到该结构；
key_t key; //该键值则唯一对应一个消息队列
uid_t uid;
gid_t gid;
uid_t cuid;
gid_t cgid;
mode_t mode;
unsigned long seq;
}
操作消息队列
消息队列操作类型
1、 打开或创建消息队列
消息队列的内核持续性要求每个消息队列都在系统范围内对应唯一的键值，所以，要获得一个消息队列的描述字，只需提供该消息队列的键值即可；
注：消息队列描述字是由在系统范围内唯一的键值生成的，而键值可以看作对应系统内的一条路经。
2、 读写操作
消息读写操作非常简单，对开发人员来说，每个消息都类似如下的数据结构：
struct msgbuf{ long mtype; char mtext[1]; };
mtype成员代表消息类型，从消息队列中读取消息的一个重要依据就是消息的类型；mtext是消息内容，当然长度不一定为1。因此，对于发送消息来说， 首先预置一个msgbuf缓冲区并写入消息类型和内容，调用相应的发送函数即可；对读取消息来说，首先分配这样一个msgbuf缓冲区，然后把消息读入该缓冲区即可。
3、 获得或设置消息队列属性：
消息队列的信息基本上都保存在消息队列头中，因此，可以分配一个类似于消息队列头的结构，来返回消息队列的属性；同样可以设置该数据结构。
消息对列API
1.文件名到键值
#include <sys/types.h> #include <sys/ipc.h> key_t ftok (char*pathname, char proj)；
它返回与路径pathname相对应的一个键值。该函数不直接对消息队列操作，但在调用ipc(MSGGET,…)或msgget()来获得消息队列描述字前，往往要调用该函数。典型的调用代码是：
key=ftok(path_ptr, 'a'); ipc_id=ipc(MSGGET, (int)key, flags,0,NULL,0); …
2. Linux为操作系统V进程间通信的三种方式（消息队列、信号灯、共享内存区）提供了一个统一的用户界面：
int ipc(unsigned int call, int first, int second, int third, void * ptr, long fifth);
第一个参数指明对IPC对象的操作方式，对消息队列而言共有四种操作：MSGSND、MSGRCV、MSGGET以及MSGCTL，分别代表向消息队列发送消息、从消息队列读取消息、打开或创建消息队列、控制消息队列；first参数代表唯一的IPC对象；下面将介绍四种操作。
- int ipc( MSGGET, int first, int second, int third, void* ptr, long fifth);
与该操作对应的系统V调用为：int msgget( (key_t)first，second)。 - int ipc( MSGCTL, int first, int second, int third, void* ptr, long fifth)
与该操作对应的系统V调用为：int msgctl( first，second, (struct msqid_ds*) ptr)。 - int ipc( MSGSND, int first, int second, int third, void* ptr, long fifth);
与该操作对应的系统V调用为：int msgsnd( first, (struct msgbuf*)ptr, second, third)。 - int ipc( MSGRCV, int first, int second, int third, void*ptr, long fifth);
与该操作对应的系统V调用为：int msgrcv( first，(struct msgbuf*)ptr, second, fifth,third)，
注：本人不主张采用系统调用ipc()，而更倾向于采用系统V或者POSIX进程间通信API。原因如下：
- 虽然该系统调用提供了统一的用户界面，但正是由于这个特性，它的参数几乎不能给出特定的实际意义（如以first、second来命名参数），在一定程度上造成开发不便。
- 正如ipc手册所说的：ipc()是Linux所特有的，编写程序时应注意程序的移植性问题；
- 该系统调用的实现不过是把系统V IPC函数进行了封装，没有任何效率上的优势；
- 系统V在IPC方面的API数量不多，形式也较简洁。
3.系统V消息队列API
系统V消息队列API共有四个，使用时需要包括几个头文件：
#include <sys/types.h> #include <sys/ipc.h> #include <sys/msg.h>
1）int msgget(key_t key, int msgflg)
参数key是一个键值，由ftok获得；msgflg参数是一些标志位。该调用返回与健值key相对应的消息队列描述字。
在以下两种情况下，该调用将创建一个新的消息队列：
- 如果没有消息队列与健值key相对应，并且msgflg中包含了IPC_CREAT标志位；
- key参数为IPC_PRIVATE；
参数msgflg可以为以下：IPC_CREAT、IPC_EXCL、IPC_NOWAIT或三者的或结果。
调用返回：成功返回消息队列描述字，否则返回-1。
注：参数key设置成常数IPC_PRIVATE并不意味着其他进程不能访问该消息队列，只意味着即将创建新的消息队列。
2）int msgrcv(int msgid, struct msgbuf *msgp, int msgsz, long msgtyp, int msgflg);
该系统调用从msgid代表的消息队列中读取一个消息，并把消息存储在msgp指向的msgbuf结构中。
msqid为消息队列描述字；消息返回后存储在msgp指向的地址，msgsz指定msgbuf的mtext成员的长度（即消息内容的长度），msgtyp为请求读取的消息类型；读消息标志msgflg可以为以下几个常值的或：
- IPC_NOWAIT 如果没有满足条件的消息，调用立即返回，此时，errno=ENOMSG
- IPC_EXCEPT 与msgtyp>0配合使用，返回队列中第一个类型不为msgtyp的消息
- IPC_NOERROR 如果队列中满足条件的消息内容大于所请求的msgsz字节，则把该消息截断，截断部分将丢失。
msgrcv手册中详细给出了消息类型取不同值时(>0; <0; =0)，调用将返回消息队列中的哪个消息。
msgrcv()解除阻塞的条件有三个：
- 消息队列中有了满足条件的消息；
- msqid代表的消息队列被删除；
- 调用msgrcv()的进程被信号中断；
调用返回：成功返回读出消息的实际字节数，否则返回-1。
3）int msgsnd(int msqid, struct msgbuf *msgp, int msgsz, int msgflg);
向msgid代表的消息队列发送一个消息，即将发送的消息存储在msgp指向的msgbuf结构中，消息的大小由msgze指定。
对发送消息来说，有意义的msgflg标志为IPC_NOWAIT，指明在消息队列没有足够空间容纳要发送的消息时，msgsnd是否等待。造成msgsnd()等待的条件有两种：
- 当前消息的大小与当前消息队列中的字节数之和超过了消息队列的总容量；
- 当前消息队列的消息数（单位"个"）不小于消息队列的总容量（单位"字节数"），此时，虽然消息队列中的消息数目很多，但基本上都只有一个字节。
msgsnd()解除阻塞的条件有三个：
- 不满足上述两个条件，即消息队列中有容纳该消息的空间；
- msqid代表的消息队列被删除；
- 调用msgsnd（）的进程被信号中断；
调用返回：成功返回0，否则返回-1。
4）int msgctl(int msqid, int cmd, struct msqid_ds *buf);
该系统调用对由msqid标识的消息队列执行cmd操作，共有三种cmd操作：IPC_STAT、IPC_SET 、IPC_RMID。
- IPC_STAT：该命令用来获取消息队列信息，返回的信息存贮在buf指向的msqid结构中；
- IPC_SET：该命令用来设置消息队列的属性，要设置的属性存储在buf指向的msqid结构中；可设置属性包括：msg_perm.uid、msg_perm.gid、msg_perm.mode以及msg_qbytes，同时，也影响msg_ctime成员。
- IPC_RMID：删除msqid标识的消息队列；
调用返回：成功返回0，否则返回-1。
下面是消息队列使用的一个列子：
服务器进程：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <sys/msg.h>
#include <sys/ipc.h>
#include <errno.h>
unsigned long msg_attr(int msg_id, struct msqid_ds msg_info)
{
int m, ret = 1;
ret = msgctl(msg_id, IPC_STAT, &msg_info);
if (-1 == ret){
printf("msgctl err is: %s\n", strerror(errno));
return;
}
printf("the message number of the queue: %lu\n", msg_info.msg_qnum);
return msg_info.msg_qnum;
}
int main(void)
{
int m, ret = -1;
int msg_flags, msg_id;
unsigned long tec;
key_t key;
struct mymesg{
long mtype;
char mtext[512];
};
struct msqid_ds msg_info;
struct mymesg msg_mbuf, msg_rbuf;
int msg_sflags, msg_rflags;
char *msgpath = "/home/opencl/name";
key = ftok(msgpath, 5);
if (key != -1){
printf("success\n");
} else {
printf("fail\n");
}
msg_flags = IPC_CREAT | IPC_EXCL;
msg_id = msgget(key, msg_flags | 0666);
printf("msg_id is: %d\n", msg_id);
if(-1 == msg_id){
fprintf(stderr, "msgget failed with error: %d\n", errno);
exit(EXIT_FAILURE);
};
memset(&msg_rbuf, 0, sizeof(struct mymesg));
ret = msgrcv(msg_id, &msg_rbuf, 512, 0, 0);
if(ret == -1){
printf("first msgrcv: %s\n",strerror(errno));
}
printf("pid is: %lu\n", msg_rbuf.mtype);
printf("pid is: %s\n", (msg_rbuf.mtext));
msg_sflags = IPC_NOWAIT;
msg_mbuf.mtype = (msg_rbuf.mtype);
memcpy(msg_mbuf.mtext, "hello world", sizeof("hello world"));
ret = msgsnd(msg_id, &msg_mbuf, sizeof("hello world"), msg_sflags);
if (-1 == ret){
printf("msgsnd err is: %s\n", strerror(errno));
}
tec = msg_attr(msg_id, msg_info);
while(tec > 0) {
sleep(1);
tec = msg_attr(msg_id, msg_info);
}
ret = msgctl(msg_id, IPC_RMID, NULL);
if(-1 == ret){
printf("error\n");
return 0;
}
return 0;
}
客户端进程：
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/msg.h>
#include <sys/stat.h>
#include <sys/ipc.h>
#include <errno.h>
unsigned long msg_attr(int msg_id, struct msqid_ds msg_info)
{
int m, ret = 1;
sleep(1);
ret = msgctl(msg_id, IPC_STAT, &msg_info);
if (-1 == ret){
printf("fail to get message information\n");
return;
}
printf("\n");
printf("the message number of the queue: %lu\n", msg_info.msg_qnum);
}
int main(void)
{
int m, ret = -1;
int msg_flags, msg_id;
key_t key;
struct mymesg{
long mtype;
char mtext[512];
};
struct msqid_ds msg_info;
struct mymesg msg_mbuf;
int msg_sflags, msg_rflags;
char *msgpath = "/home/opencl/name";
key = ftok(msgpath, 5);
//printf("err: %s\n", strerror(errno));
if (key != -1){
printf("success\n");
} else {
printf("fail\n");
}
msg_flags = 0x0;
msg_id = msgget(key, S_IRUSR | S_IWUSR);
if(-1 == msg_id){
printf("build message fail\n");
return 0;
};
msg_attr(msg_id, msg_info);
msg_sflags = IPC_NOWAIT;
msg_mbuf.mtype = getpid();
memcpy(msg_mbuf.mtext, "send pid", sizeof("send pid"));
ret = msgsnd(msg_id, &msg_mbuf, sizeof("send pid"), 0);
if(ret == -1){
printf("first msgsnd err: %s\n",strerror(errno));
}
msg_rflags = MSG_NOERROR | IPC_NOWAIT;
memset(&msg_mbuf, 0, sizeof(struct mymesg));
while(1) {
ret = msgrcv(msg_id, &msg_mbuf, getpid(), 0, msg_rflags);
if(-1 == ret) {
printf("msgrcv err: %s\n", strerror(errno));
} else {
printf("receive the message successfully: %s\n",msg_mbuf.mtext);
printf("the len: %d\n", ret);
}
msg_attr(msg_id, msg_info);
sleep(1);
}
return 0;
}
扫一扫
903
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
