OldJiang.com

浩毛的博客

OldJiang.com
posts - 14, comments - 81, trackbacks - 0, articles - 0
  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

一个简单实用的内存池之一(c实现)

Posted on 2009-09-17 22:34 浩毛 阅读(7519) 评论(18)  编辑 收藏 引用 所属分类: C & C++
     都知道频繁分配内存释放内存很耗系统资源,而且容易造成内存碎片。因此写了个简单的内存池实现,越简单越好,为什么?做复杂了效率还不如直接malloc。因此这个内存池采用链表连接内存块的方式,分配的是固定大小的内存块,从池中取内存和归还内存是用的空闲链表堆栈操作, 没有使用线程锁,如果要线程安全,建议在外部调用内存池的地方加锁。

     做过一个简单的测试,10万次内存池调用的效率大概比直接分配释放内存提高了30-50%。但是前提是内存池不能加锁(pthread_mutex),加锁的内存池效率和直接分配内存的效率差不多,有时候还要多点点。(测试的环境是每次2K,4个双核CPU,FREEBSD7)

代码实现:
struct memblock
{
   
int              used;
   
void*            data;
   
struct memblock* next;
   
struct memblock* createnext;
}
;


struct mempool
{
    
int            size;//memblock大小
    int            unused;//空闲的memblock大小
    int            datasize;//每次分配的数据大小(就是memblock.data)
    struct memblock*    free_linkhead;//空闲memblock链表头
    struct memblock*    create_linkhead;//所有创建的memblock链表头,内存池释放的时候使用,防止内存池释放的似乎还有memblock未归还的情况
    
};
typedef 
void (*free_callback)(void*);//释放回调函数,释放membloc.data用,可以简单的直接用free函数

void    mempool_init(int initialSize,int datasize);//初始化mempool
void    mempool_dealloc(struct mempool* pool,free_callback callback);//释放mempool
void*    mempool_get(struct mempool* pool);//获取一个memblock
void    mempool_release(struct mempool* pool,struct memblock* block);//归还一个memblock

/*********************************
 * mempool
 * *****************************
*/
//malloc一个memblock
static struct memblock* mempool_allocblock( struct mempool* pool );

//------------------implement--------
void*
mempool_init( 
int initialSize, int datasize )
{
    
struct mempool* pool = malloc( sizeofstruct mempool ) );
    pool
->unused = 0;
    pool
->datasize = datasize;
    pool
->free_linkhead = NULL;
  
    
//预先初始化initialSize个内存块
     pool->create_linkhead = NULL;
    
int i;
    
for ( i = 0; i < initialSize; i++ ) {
        
struct memblock* block = mempool_allocblock( pool );
        mempool_release( pool, block );
    }
    
return ( pool );
}

void
mempool_dealloc( 
struct mempool* pool, free_callback callback )
{
    
struct memblock* block = NULL;
    
//将所有创建的memblock释放了
    while ( pool->create_linkhead != NULL ) {
        block 
= pool->create_linkhead;
        pool
->create_linkhead = pool->create_linkhead->createnext;
    
//执行free回调。
        if ( callback ) {
            ( 
*callback )( block->data );
        }
        free( block );
    }
    free( pool );
    L_DEBUG( 
"%s:size(%d),unused(%d)", __func__, pool->size, pool->unused );
}

static struct memblock*
mempool_allocblock( 
struct mempool* pool )
{
    
struct memblock* block = malloc( sizeofstruct memblock ) );
    block
->data = malloc( sizeof( pool->datasize ) );
    block
->next = NULL;
    block
->used = 1;//表示已使用

    
//加入所有创建的memblock的链表头
    block->createnext = pool->create_linkhead;
    pool
->create_linkhead = block;

    pool
->size++;
    
return ( block );
}

void
mempool_release( 
struct mempool* pool, struct memblock* block )
{
    
if ( block == NULL ) {
        L_WARN( 
"%s:release a NULL!", __func__ );
        
return;
    }
    
if ( block->used != 1 ) {
        L_WARN( 
"%s:used!=1", __func__ );
        
return;
    }
    
//将归还的内存块放到空闲链表头。
    block->used = 0;//表示空闲
    block->next = pool->free_linkhead;
    pool
->free_linkhead = block;
    pool
->unused++;//空闲数+1
}

void*
mempool_get( 
struct mempool* pool )
{
   
    
struct memblock* block = NULL;
    
if ( pool->free_linkhead ) {
    
//从空闲链表头取出一个内存块
        block = pool->free_linkhead;
        pool
->free_linkhead = pool->free_linkhead->next;
        block
->next = NULL;
        block
->used = 1;//表示已使用
        pool->unused--;//空闲内存块数-1
    }
    
else {
    
//没有空闲的内存块,创建一个
        block = mempool_allocblock( pool );
    }
    
return ( block );
}

Feedback

# re: 一个简单实用的内存池(c实现)[未登录]  回复  更多评论   

2009-09-18 09:08 by kkk
struct memblock*没定义吧

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 09:27 by 浩毛
代码第二行开始就是定义。。

struct mempool
{
int size;//memblock大小
int unused;//空闲的memblock大小
int datasize;//每次分配的数据大小(就是memblock.data)
struct memblock* free_linkhead;//空闲memblock链表头
struct memblock* create_linkhead;//所有创建的memblock链表头,内存池释放的时候使用,防止内存池释放的似乎还有memblock未归还的情况

};

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 09:30 by wangjinhu
不加锁的内存池给谁用?

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 09:33 by 浩毛
如果要线程安全,建议在外部调用内存池的地方加锁。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 15:12 by 乱78糟
@浩毛
加锁的内存池效率和直接分配内存的效率差不多,有时候还要多点点。

这个这个。。。。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 15:35 by blocker
struct memblock定义在哪?

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 16:38 by feilng
内存是拿来用的,不是拿来供的
对于服务器应用来说,核心对象完全可以全部预先分配好,尽量减少临时对象,剩余必须频繁而临时的对象就放在专门的临时内存区管理。
分开对待好一点,不要指望一种内存管理机制哪里都用。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-18 20:05 by 浩毛
@乱78糟
我是测试的10万次2K内存,环境是freebsd 4CPU的服务器

@feilng
我只是给出一个简单的内存池实现,具体怎么用就见仁见智了。。
另外,我作的网络服务器是多进程单线程的方式,对小块内存的频繁分配的情况采用的这种内存池管理的,也不需要加锁。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-20 11:11 by 戴尔电脑
深刻地方就开始点击附件是的

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-21 14:02 by hexin
这个功能你去看看boost的Simple Segregated Storage,比你这个快多了,代码也不比这个多

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-22 11:18 by 陈梓瀚(vczh)
我一直都是用一颗平衡树来组织一堆固定大小的数组实现的池。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-22 17:51 by 浩毛
@hexin
第一,这个是c实现的。boost的是C++实现。
第二,除了内存池初始化和结束的时候是个循环malloc/free外,从池中取内存和归还内存就是几个简单的指针操作(堆栈操作),没有循环遍历检索。我觉得够快了。

另外这个只适合固定的内存管理。下次打算做个不固定长度的内存池。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-22 22:36 by hexin
c实现和c++的实现在这里没有区别,这里不会用到只有c++才有的特性

对于一块被频繁调用的code来说影响速度的不仅有算法的复杂度,还要考量cache locality,后者肯定没有boost做得好,前者也不会比boost好,你可以拿两份代码测试比较一下

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-22 22:41 by hexin
@浩毛
不固定长度的内存池,现有的高性能的实现就更多了,先吸收一下前人的经验吧

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-26 14:56 by 浩毛
@hexin
我看了BOOST的Simple Segregated Storage,和我下一篇要写的新的内存池原理上差不多的。请关注下一篇文章。
现在这个实现更像是一个后备列表(Lookaside Lists)的实现。从原理上来看,我并不认为这个就比Simple Segregated Storage的方式慢了。

# re: 一个简单实用的内存池(c实现)  回复  更多评论   

2009-09-26 14:58 by 浩毛
@hexin
不过现在这个内存池,申请释放内存都必须是struct memblock结构,使用上来说没有直接malloc得到一个地址指针那种方便。下篇文章将解决这个问题。

# re: 一个简单实用的内存池之一(c实现)  回复  更多评论   

2009-09-26 15:03 by 浩毛
@kkk
memblock加上了,排版的原因。。

# re: 一个简单实用的内存池之一(c实现)  回复  更多评论   

2010-08-30 15:47 by vivian1683
http://blog.sina.com.cn/s/articlelist_1791090757_10_1.html

我是猎头vivian..大量职位IT在招聘中.如果有考虑的朋友请发简历到vivian1683@live.cn

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理


OldJiang.com