C++博客-选择C/C++-随笔分类-Berkeley DB

Berkeley DB在Queue模式下的使用2

walkspeed — Wed, 30 May 2007 05:58:00 GMT

Berkeley DB在Queue模式下的使用

Queue模式读数据的一个简单的示例
在Queue模式下读数据，记录（Dbt）要调用set_ulen函数和set_flags函数

#include < time.h >
#include < iostream >
#include < bdb/db_cxx.h >

struct ValueType
{
    int _int;
    char _char;
    char _array[256];
};

void readDB( void )
{
   Db bdb( 0, 0 );

   bdb.set_re_len( sizeof( ValueType ) ); //用Queue模式一定要调用，而且一定要在open前调用
   bdb.set_re_pad( 0x00 ); //为了字符串的填充为0。

   bdb.open( 0, "SaveRecodeDB.db", 0, DB_QUEUE, DB_CREATE, 0 );

   size_t k;
   ValueType v;
   Dbt key( &k, sizeof( size_t ) );
   key.set_ulen( sizeof( size_t ) );

   Dbt value( &v, sizeof( ValueType ) );
   value.set_ulen( sizeof( ValueType ) );
   value.set_flags( DB_DBT_USERMEM );

   //直接用数据库的读函数
   for( int i=0; i<1000000; ++i )
   {
       bdb.get( 0, &key, &value, DB_CONSUME );
   }

   bdb.close( 0 );
}

int main( int argc, char* argv[] )
{
    clock_t et1 = clock();
    readDB();
    clock_t et2 = clock();

    std::cout << "work is fine, " << "have times : " << et2 - et1 << std::endl;
    return 0;
}

walkspeed 2007-05-30 13:58 发表评论

Berkeley DB在Queue模式下的使用 1

walkspeed — Tue, 29 May 2007 10:03:00 GMT

Berkeley DB在Queue模式下的使用

Queue模式下仅能存储定长的记录，既value的长度为定长。Queue的key是一个逻辑增长的数，一般就是int。
不需要开发者去改变这个类型。

Queue模式下只能存储定长的记录。所以一定要调用DB的set_re_length函数来设定数据库中记录的长度。
如果没有设定，默认的为0。这样当存储记录时一定会报异常。程序出错。
在读取记录时，当记录的长度小于设定的长度时，会填充字符达到设定长度。
默认的字符为0x02（ASCII中的）。可以设定自己的填充字符。调用DB的set_re_pad。

一个简单的示例

#include < time.h >
#include < iostream >
#include < bdb/db_cxx.h >

struct ValueType
{
   int _int;
   char _char;
   char _array[256];
};

void writeDB( void )
{
   Db bdb( 0, 0 );

   bdb.set_re_len( sizeof( ValueType ) ); //用Queue模式一定要调用，而且一定要在open前调用
   bdb.set_re_pad( 0x00 ); //为了字符串的填充为0。

   bdb.open( 0, "SaveRecodeDB.db", 0, DB_QUEUE, DB_CREATE, 0 );

   size_t k;
   ValueType v;
   Dbt key( &k, sizeof( size_t ) );
   Dbt value( &v, sizeof( ValueType ) );

   //直接用数据库的写函数
   for( int i=0; i<1000000; ++i )
   {
       bdb.put( 0, &key, &value, DB_APPEND );
   }

   bdb.close( 0 );
}

int main( int argc, char* argv[] )
{
   clock_t et1 = clock();
   writeDB();
   clock_t et2 = clock();

   std::cout << "work is fine, " << "have times : " << et2 - et1 << std::endl;
   return 0;
}

在Queue模式下不能用游标进行数据的插入。只能进行数据的修改。

walkspeed 2007-05-29 18:03 发表评论

Berkeley DB对并发的支持

walkspeed — Sat, 26 May 2007 08:17:00 GMT

Berkeley DB对并发的支持

要让Berkeley DB数据支持并发，就要创建Berkeley DB的环境（environment）
环境类是 DbEnv。要支持并发，在初始化DbEnv时要用DB_INIT_CDB、DB_INIT_MPOOL
两个标致。

如下

DbEnv env；
env.open( "evn", DB_INIT_CDB|DB_INIT_MPOOL, 0 );

然后在创建数据库时，将环境传给数据库。如下

Db bdb( &env, 0 );

这样就可以支持并发了。

Berkeley DB并发的简单原则
Berkeley DB的并发遵循的是允许同时多个读操作，当只有一个写操作。
1 每个游标有一锁，非游标的读写用一锁
2 写操作等待所有的读锁解锁。
3 读操作不需要等待写锁解锁。

walkspeed 2007-05-26 16:17 发表评论

Berkeley DB的介绍

walkspeed — Sat, 26 May 2007 03:26:00 GMT

Berkeley DB的访问方法有四种BTree、Hash、Queue、Recno
他们在DB创建时选择，而且只能在创建时选择。一点选定某一个访问方法，
在使用中不能改变。

BTree 数据被存储在一个排序的平衡树结构中。key和value都可以是简单数
据（如整型，字符串），也可以是复杂数据（如结构）。当有多个数据的key
相同时，可以有复本。

Hash 数据存储在一个扩展的线性hash表中。其他的特性象BTree。

Queue 数据存储在一个队列中，记录是定长的。key为一个逻辑数，不由用户
选择类型。在尾部插入记录，在头部删除记录和取出记录非常的快。提供了
记录水平缩，提高在并发下的访问。

Recno 数据可以是定常或是变长的记录。其他特性象Queue。key也是一个逻辑数。

数据库访问方法的选择。
根据key可否用户定义分为BTree、Hash一组，Queue、Renco一组。

BTree与Hash之间的选择
如果数据量不，能被放到内存中。这种情况下选择BTree。即在小数据量的情况下
选用BTree，原因是在利用key来定为记录时，成功的几率大些。Hash有退步算法。

但是在大数据量的情况下，由于数据并不能都在数据库中，要访问磁盘，并且BTree
要维护的内部信息大于Hash，访问磁盘的几率大于Hash，会造成访问的瓶颈。所以
在大数据量下选择Hash。

Queue与Recno之间的选择
用在多并发下最好用Queue。但是如果记录是变长的，就只能选Recno了。在其它的情
况下，两者没有明显的差别。

Berkeley DB支持从非常小的数据库到256T的数据容量的数据库。单个key或recode
最大可以为4G的数据。

Berkeley DB的数据库被存储为二进制的格式，有利于平台的移植。

Berkeley DB支持并发的访问，但是不能用在NSF（网络文件系统）下。因为无法定位和
获得数据库的环境（在环境中设置对并发的控制）。

Berkeley DB的环境（Environments）提供了以下的功能
1 多数据库文件（Multi-database files）。将多个数据存储在一个物理文件中。
2 提供多线程或多进程的支持（Multi-thread and multi-process support）。
3 事务处理
4 高可用性（重复性）支持。即一个主数据库，和多个提供只读能力的复制数据库
5 日志子系统。

walkspeed 2007-05-26 11:26 发表评论