线程池和内存池的实现

线程池

为什么需要线程池？

大多数的网络服务器，包括Web服务器都具有一个特点，就是单位时间内必须处理数目巨大的连接请求，但是处理时间却是比较短的。在传统的多线程服务器模型中是这样实现的：一旦有个请求到达，就创建一个新的线程，由该线程执行任务，任务执行完毕之后，线程就退出。这就是”即时创建，即时销毁”的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次数非常频繁，那么服务器就将处于一个不停的创建线程和销毁线程的状态。这笔开销是不可忽略的，尤其是线程执行的时间非常非常短的情况。

线程池的原理

线程池就是为了解决上述问题的，它的实现原理是这样的：在应用程序启动之后，就马上创建一定数量的线程，放入空闲的队列中。这些线程都是处于阻塞状态，这些线程只占一点内存，不占用CPU。当任务到来后，线程池将选择一个空闲的线程，将任务传入此线程中运行。当所有的线程都处在处理任务的时候，线程池将自动创建一定的数量的新线程，用于处理更多的任务。执行任务完成之后线程并不退出，而是继续在线程池中等待下一次任务。当大部分线程处于阻塞状态时，线程池将自动销毁一部分的线程，回收系统资源。
下面是一个简单线程池的实现，它的方案是这样的：程序启动之前，初始化线程池，启动线程池中的线程，由于还没有任务到来，线程池中的所有线程都处在阻塞状态，当一有任务到达就从线程池中取出一个空闲线程处理，如果所有的线程都处于工作状态，就添加到队列，进行排队。如果队列中的任务个数大于队列的所能容纳的最大数量，那就不能添加任务到队列中，只能等待队列不满才能添加任务到队列中。

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <pthread.h>
#include <assert.h>

/*
*线程池里所有运行和等待的任务都是一个CThread_worker
*由于所有任务都在链表里，所以是一个链表结构
*/
typedef struct worker
{
    /*回调函数，任务运行时会调用此函数，注意也可声明成其它形式*/
    void *(*process) (void *arg);
    void *arg;/*回调函数的参数*/
    struct worker *next;

} CThread_worker;


/*线程池结构*/
typedef struct
{
     pthread_mutex_t queue_lock;
     pthread_cond_t queue_ready;

    /*链表结构，线程池中所有等待任务*/
     CThread_worker *queue_head;

    /*是否销毁线程池*/
    int shutdown;
     pthread_t *threadid;
    /*线程池中允许的活动线程数目*/
    int max_thread_num;
    /*当前等待队列的任务数目*/
    int cur_queue_size;

} CThread_pool;


int pool_add_worker (void *(*process) (void *arg), void *arg);
void *thread_routine (void *arg);

static CThread_pool *pool = NULL;

void pool_init (int max_thread_num)
{
     pool = (CThread_pool *) malloc (sizeof (CThread_pool));

     pthread_mutex_init (&(pool->queue_lock), NULL);
     pthread_cond_init (&(pool->queue_ready), NULL);

     pool->queue_head = NULL;

     pool->max_thread_num = max_thread_num;
     pool->cur_queue_size = 0;

     pool->shutdown = 0;

     pool->threadid =
         (pthread_t *) malloc (max_thread_num * sizeof (pthread_t));
    int i = 0;
    for (i = 0; i < max_thread_num; i++)
     {
         pthread_create (&(pool->threadid[i]), NULL, thread_routine,
                 NULL);
     }
}


/*向线程池中加入任务*/
int pool_add_worker (void *(*process) (void *arg), void *arg)
{
    /*构造一个新任务*/
     CThread_worker *newworker =
         (CThread_worker *) malloc (sizeof (CThread_worker));
     newworker->process = process;
     newworker->arg = arg;
     newworker->next = NULL;/*别忘置空*/

     pthread_mutex_lock (&(pool->queue_lock));
    /*将任务加入到等待队列中*/
     CThread_worker *member = pool->queue_head;
    if (member != NULL)
     {
        while (member->next != NULL)
             member = member->next;
         member->next = newworker;
     }
    else
     {
         pool->queue_head = newworker;
     }

     assert (pool->queue_head != NULL);

     pool->cur_queue_size++;
     pthread_mutex_unlock (&(pool->queue_lock));
    /*好了，等待队列中有任务了，唤醒一个等待线程；
     注意如果所有线程都在忙碌，这句没有任何作用*/
     pthread_cond_signal (&(pool->queue_ready));
    return 0;
}


/*销毁线程池，等待队列中的任务不会再被执行，但是正在运行的线程会一直
把任务运行完后再退出*/
int
pool_destroy ()
{
    if (pool->shutdown)
        return -1;/*防止两次调用*/
     pool->shutdown = 1;

    /*唤醒所有等待线程，线程池要销毁了*/
     pthread_cond_broadcast (&(pool->queue_ready));

    /*阻塞等待线程退出，否则就成僵尸了*/
    int i;
    for (i = 0; i < pool->max_thread_num; i++)
         pthread_join (pool->threadid[i], NULL);
     free (pool->threadid);

    /*销毁等待队列*/
     CThread_worker *head = NULL;
    while (pool->queue_head != NULL)
     {
         head = pool->queue_head;
         pool->queue_head = pool->queue_head->next;
         free (head);
     }
    /*条件变量和互斥量也别忘了销毁*/
     pthread_mutex_destroy(&(pool->queue_lock));
     pthread_cond_destroy(&(pool->queue_ready));

     free (pool);
    /*销毁后指针置空是个好习惯*/
     pool=NULL;
    return 0;
}


void * thread_routine (void *arg)
{
     printf ("starting thread 0x%x\n", pthread_self ());
    while (1)
     {
         pthread_mutex_lock (&(pool->queue_lock));
        /*如果等待队列为0并且不销毁线程池，则处于阻塞状态; 注意
         pthread_cond_wait是一个原子操作，等待前会解锁，唤醒后会加锁*/
        while (pool->cur_queue_size == 0 && !pool->shutdown)
         {
             printf ("thread 0x%x is waiting\n", pthread_self ());
             pthread_cond_wait (&(pool->queue_ready), &(pool->queue_lock));
         }

        /*线程池要销毁了*/
        if (pool->shutdown)
         {
            /*遇到break,continue,return等跳转语句，千万不要忘记先解锁*/
             pthread_mutex_unlock (&(pool->queue_lock));
             printf ("thread 0x%x will exit\n", pthread_self ());
             pthread_exit (NULL);
         }

         printf ("thread 0x%x is starting to work\n", pthread_self ());

        /*assert是调试的好帮手*/
         assert (pool->cur_queue_size != 0);
         assert (pool->queue_head != NULL);

        /*等待队列长度减去1，并取出链表中的头元素*/
         pool->cur_queue_size--;
         CThread_worker *worker = pool->queue_head;
         pool->queue_head = worker->next;
         pthread_mutex_unlock (&(pool->queue_lock));

        /*调用回调函数，执行任务*/
         (*(worker->process)) (worker->arg);
         free (worker);
         worker = NULL;
     }
    /*这一句应该是不可达的*/
     pthread_exit (NULL);
}

测试：

void * myprocess (void *arg)
{
     printf ("threadid is 0x%x, working on task %d\n", pthread_self (),*(int *) arg);
     sleep (1);/*休息一秒，延长任务的执行时间*/
    return NULL;
}

int main (int argc, char **argv)
{
     pool_init (3);/*线程池中最多三个活动线程*/

    /*连续向池中投入10个任务*/
    int *workingnum = (int *) malloc (sizeof (int) * 10);
    int i;
    for (i = 0; i < 10; i++)
     {
         workingnum[i] = i;
         pool_add_worker (myprocess, &workingnum[i]);
     }
    /*等待所有任务完成*/
     sleep (5);
    /*销毁线程池*/
     pool_destroy ();

     free (workingnum);
    return 0;
}

内存池

在软件开发中，有些对象使用非常频繁，那么我们可以预先在堆中实例化一些对象，我们把维护这些对象的结构叫“内存池”。在需要用的时候，直接从内存池中拿，而不用从新实例化，在要销毁的时候，不是直接free/delete，而是返还给内存池。

把那些常用的对象存在内存池中，就不用频繁的分配/回收内存，可以相对减少内存碎片，更重要的是实例化这样的对象更快，回收也更快。当内存池中的对象不够用的时候就扩容。

内存池的一种实现

#pragma once
#include <assert.h>

template<typename T>
struct ProxyT
{ 
    ProxyT():next(NULL){} 
    T data;
    ProxyT* next;
};

template<typename T>
class MemoryPool
{
public:
    //分配一个内存节点
    static void* New()
    {
        if(next==NULL)
        {
            Alloc();
        }
        assert(next!=NULL);
        ProxyT<T>* cur=next;
        next=next->next;
        return cur;
    }

    //回收一块内存节点
    static void Delete(void* ptr)
    {
        ProxyT<T>* cur=static_cast<ProxyT<T>*>(ptr);
        cur->next=next;
        next=cur; 
    }

#ifdef CanFree
    static void Clear()
    {
        ProxyT<T>* proxy=NULL;
        while(next!=NULL)
        {
            proxy=next->next;
            delete next;
            next=proxy;
        }
        next=NULL;
    }
#endif

private:
    //分配内存，以链表的形式
    static void Alloc(size_t size=16)
    {
        if(next==NULL)
        {
        #ifdef CanFree
            ProxyT<T>* tmpProxy=new ProxyT<T>();
            next=tmpProxy;
            for(int i=1;i<size;i++)
            { 
                tmpProxy->next=new ProxyT<T>();
                tmpProxy=tmpProxy->next;
            } 
        #else
            ProxyT<T>* memory=(ProxyT<T>*)malloc(size*sizeof(ProxyT<T>));
            //在地址memory上调用ProxyT<T>的默认构造函数，
            //new其实是先分配一块内存，如果这个对象有构造函数，就调用构造函数，现在是内存已经分配好了，只用调用构造函数
            ProxyT<T>* tmpProxy=new (memory) ProxyT<T>();
            next=tmpProxy;
            for (size_t i=1;i<size;i++)
            {
                tmpProxy->next=new (memory+i) ProxyT<T>();
                tmpProxy=tmpProxy->next;
            }
        #endif

        }
    }

    static ProxyT<T>* next; 
    MemoryPool<T>();
    MemoryPool<T>(const MemoryPool<T>&);
};

template<typename T> ProxyT<T>* MemoryPool<T>::next=NULL; 

#重载new和delete操作符
static void* operator new(size_t size)      
{                                           
    return MemoryPool<className>::New();    
}                                           
static void operator delete(void* ptr)      
{                                           
    MemoryPool<className>::Delete(ptr);     
}

测试代码：

#include "stdafx.h" 
#define CanFree
#include "MemoryPool.h"

struct A
{ 
    int i; 
    NewAndDelete(A) 
};

int _tmain(int argc, _TCHAR* argv[])
{   

    { 
        vector<A*> vect;
        for(int i=0;i<16;i++)
        {
            A* a=new A();
            a->i=i;
            vect.push_back(a);
        }
        for(int i=0;i<vect.size();i++)
        {
            cout<<vect[i]->i<<endl;
        }
        for(int i=vect.size()-1;i>=0;i--)
        {
            delete vect[i];
        }
        vect.clear();

        MemoryPool<A>::Clear();
    }

    system("pause");
    return 0; 
}

有两个public方法New和Delete；还有一个Clear方法，这个方法的存在取决于是否定义了宏CanFree，如果定义了这个宏，那么对象是一个个的实例化，在调用Clear的时候可以一个个的回收，如果没有定义，那么是一次分配一块较大的内存，然后在这块内存上实例化多个对象。
整个内存池其实就是一个单链表，表头指向第一个没有使用的节点，，调用方法New就是从链条的一端（单链表表头）取走一节点，调用方法Delete就是在链条的一端（单链表表头）前面插入一个节点，新插入的节点就是链表的表头，这样New和Delete的时间复杂度都是O(1)。

所有要使用内存池的对象，只需要在这个对象中引入宏NewAndDelete，这个宏其实就是重写对象的new和delete方法，让对象的创建和回收都通过内存池来实现，所有用内存池实现的对象使用起来和别的对象基本上是一样。
但内存池对象不是线程安全的，在多线程编程中，创建一个对象时必须加锁。