C++博客-长寿梦的编程手记-随笔分类-分布式与存储

mongodb的测试报告

长寿梦 — Mon, 13 Apr 2015 09:34:00 GMT

摘要: 注意：测试方法或者推算思路，可能有问题，欢迎批评与指正。 Mongodb的版本: 执行命令mongod --version得到 "version" : "3.0.1",&n... 阅读全文

长寿梦 2015-04-13 17:34 发表评论

mongodb的主从测试与复制集测试的实验（附带测试的配置文件）

长寿梦 — Mon, 13 Apr 2015 09:27:00 GMT

1.mongodb 的版本

v3.0.1

2.mongodb的用户权限分配

//创建超级管理用户

use admin

db.createUser(

{

user:"superuser",

pwd:"superuser@nMhU3x",

roles:["root"]

}

)

参考文档：http://demo.netfoucs.com/xuzheng_java/article/details/42550653

3. mongodb 初次启动时，观察其占用的磁盘空间。发现占用了20G空间，这与mongodb为了提高写性能，

与分配数据有关。

原因：

oplogSize：指定的复制操作日志（OPLOG）的最大大小。mongod创建一个OPLOG的大小基于最大可用

空间量。对于64位系统，OPLOG通常是5％的可用磁盘空间。一旦mongod第一次创建OPLOG，改变oplog

Size将不会影响OPLOG的大小。

我把oplogSize配置为1G发现，初始化时生成了一个local.1，大小为1G。

4. 针对mongodb的warnning的系统级别的优化：

第一步：

使用root用户权限登录：

echo "never" > /sys/kernel/mm/transparent_hugepage/enabled

echo "never" > /sys/kernel/mm/transparent_hugepage/defrag

第二步：

使用root用户权限登录：

vim /etc/profile

添加以下命令：

ulimit -f unlimited

ulimit -t unlimited

ulimit -v unlimited

ulimit -n 64000

ulimit -m unlimited

ulimit -u 32000

5. 在做mongodb主从复制时，在没有开启--auth模式时，运行正常。

然后，开启主库 --auth模式，

发现从库遇到验证问题，数据不能同步成功。

在这种情况下，做实验失败，尚末解决。

6. 发现mongodb初始化时，data占用物理空间是23G;然后插入1KW条数据后，占用空间是29G；

若插入2KW条数据，占用空间是30G

30601 LBSUser 20 0 56.9g(VIRT) 2.8g(RES) 2.4g S 0.0 9.0 0:14.47 mongod

7. mongodb主从复制的配置文件见：

mongodb-master-slave.tar

配置文件的说明：

参考：http://www.it165.net/database/html/201402/5303.html

8. mongodb副本集的配置文件见：

mongodb-replset.tar.gz 配置文件

mongodb-master-slave.tar.zip 配置文件

长寿梦 2015-04-13 17:27 发表评论

对数据库索引的一点总结

长寿梦 — Wed, 11 Feb 2015 03:16:00 GMT

问题：mysql 多列索引的最左前缀

参考：http://blog.sina.com.cn/s/blog_4deb16580100i8v2.html

结论：索引文件是根据最左边的一列进行排序的，然后按照二分查找法查找的。

问题：索引的类型：普通索引、唯一性索引、主键、全文索引

参考：http://opq149766320.iteye.com/blog/561183

结论：

问题： MySQL Hash索引和B-Tree索引的区别

参考：http://database.51cto.com/art/201010/229525.htm

结论：映射规则导致的缺点、冲突导致的缺点

长寿梦 2015-02-11 11:16 发表评论

im的难点

长寿梦 — Tue, 10 Feb 2015 07:31:00 GMT

im的架构，不是难在消息的转发，而是难在
1.用户状态的维护
2.用户社交网络的构造

长寿梦 2015-02-10 15:31 发表评论

将MYSQL多库表的数据迁移到REDIS的SHELL脚本

长寿梦 — Fri, 18 Jul 2014 09:29:00 GMT

#!/bin/sh

DBFILE=./migratedata2redis.sql

for((nDBIndex=0;nDBIndex<4;nDBIndex++))
do

if [ -f $DBFILE ]
then
        rm -rf $DBFILE
fi

        for((nTBIndex=0;nTBIndex<64;nTBIndex++))
        do

        (
        cat <<EOF

                SELECT concat(
                '*4\r\n\$4\r\nzadd\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_score), '\r\n',
                redis_score, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("offlinemsg_",FtoID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID,"_",      FdbIndex,"_",   FtableIndex) as redis_value
                from db_im_user_msg_$nDBIndex.t_im_user_msgidlist_$nTBIndex
                )
                AS T;

EOF
        ) >> $DBFILE

        done

echo "begin migrate data to redis,use $DBFILE .."
mysql db_im_user_msg_$nDBIndex --skip-column-names --raw < $DBFILE | redis-cli --pipe
echo "migrate data to redis,end"

done

这个脚本是将以多库多表存储在MYSQL的数据迁移到REDIS的一个库里。

但是假如，需求是将这些数据安全UID的规则迁移到REDIS的不同的库里呢，怎么办？

#!/bin/sh

DBFILE=./migratedata2redis.sql

function select_data()
{
    DBINDEX=$1
    TBINDEX=$2
    MOINDEX=$3

    #echo "select_data $DBINDEX $TBINDEX $MOINDEX"

    (
        cat <<EOF
        SELECT concat(
                '*4\r\n\$4\r\nzadd\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_score), '\r\n',
                redis_score, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("offlinemsg_",FtoID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID) as redis_value
                from db_im_user_msg_$DBINDEX.t_im_user_msgidlist_$TBINDEX
                where FtoID%4=$MOINDEX
                )
                AS T1;


                SELECT concat(
                '*3\r\n\$3\r\nset\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("msg_",FmsgID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID,"_",      FdbIndex,"_",   FtableIndex) as redis_value
                from db_im_user_msg_$DBINDEX.t_im_user_msgidlist_$TBINDEX
                where FtoID%4=$MOINDEX
                )
                AS T2;
EOF
     ) >> $DBFILE

}

function traverse_tb()
{
    DBINDEX=$1
    MOINDEX=$2

   #echo "traverse_tb $DBINDEX $MOINDEX"


    for((nTBIndex=0;nTBIndex<64;nTBIndex++))
    do
        select_data $DBINDEX $nTBIndex $MOINDEX
    done
}

function traverse_md()
{
    DBINDEX=$1

#    echo "traverse_md $DBINDEX"

    for((nModNum=0;nModNum<4;nModNum++))
    do
        [ -f $DBFILE ] &&  rm -rf $DBFILE
        traverse_tb $DBINDEX $nModNum
        echo " mysql db_im_user_msg_$DBINDEX --skip-column-names --raw < $DBFILE | redis-cli --pipe -n $nModNum "
        mysql db_im_user_msg_$DBINDEX --skip-column-names --raw < $DBFILE | redis-cli --pipe -n $nModNum
    #    echo "migrate data to redis,end"
    done
}

function traverse_db()
{
    for((nDBIndex=0;nDBIndex<4;nDBIndex++))
    do
        echo -e "\n-------traverse_db $nDBIndex--------------"
        traverse_md $nDBIndex
    done
}

function main()
{
    traverse_db
}

main

初步思路是：先把数据全量迁移到一个库，然后keys * 到指定的记录，再一个一个的move一遍。

长寿梦 2014-07-18 17:29 发表评论

获取分库分表的总记录数目，mysql存储过程与SHELL脚本实现

长寿梦 — Tue, 15 Jul 2014 11:25:00 GMT

DROP PROCEDURE IF EXISTS  sp_getmsgtotal;

DELIMITER//
CREATE PROCEDURE sp_getmsgtotal()
BEGIN
    declare DBNAME varchar(64) ;
    declare TBNAME varchar(64);
    declare total       integer default 0 ;
    declare dbindex   integer default 0 ;
    declare tbindex  integer default 0 ;

    loop1:WHILE dbindex< 8 DO
        set DBNAME=concat("db_im_msg_record_" , dbindex);
        set tbindex = 0;

            loop2:WHILE tbindex<32 DO
                set TBNAME=concat("t_im_msg_",tbindex);

                set @SQL= concat("SELECT COUNT(*) INTO @num FROM ",DBNAME,".",TBNAME,";");
                select @SQL;
                prepare stmt_1 from @SQL ;
                execute stmt_1 ;
                deallocate prepare stmt_1 ;
                set total = total +@num;
                set tbindex = tbindex+ 1;
            END WHILE loop2;

        set dbindex=dbindex+1;


    END WHILE loop1;

    select total ;
END
//

但是存储过程，面临着这样的问题：
Thread stack overrun: 10368 bytes used of a 131072 byte stack, and 128000 bytes needed.
需要重启mysqld。
麻烦。

换一种SHELL脚本实现

#!/bin/bash

MYSQL=/usr/local/mysql/bin/mysql
#SQLOPT=" -u$USER -p$PASS -S/tmp/mysql-new.sock $@"
SQLOPT="-h192.168.1.10 -uusername -ppassword"
RESULTFILE=./result.txt

function mysql_opt()
{
        DBNAME=$1
        SQLSTR=$2
        $MYSQL $SQLOPT << EOF
        use $DBNAME;
        set names utf8;
        $SQLSTR;

EOF
}

function get_count()
{
        for((nDBIndex=0;nDBIndex<8;nDBIndex++))
        do
                 DBNAME=db_im_msg_record_$nDBIndex
                  #DBNAME=db_im_user_msg_$nDBIndex

                                for((nTBIndex=0;nTBIndex<1;nTBIndex++))
                                do
                                        TBNAME=t_im_msg_$nTBIndex
                                        #TBNAME=t_im_user_msgidlist_$nTBIndex

                                        RESULT=`mysql_opt $DBNAME "select count(*) from $TBNAME;"`
                                        echo "$RESULT  "
                                        echo $RESULT >> $RESULTFILE
                                done

        done
}

function compute_total()
{
        echo "begin"
        awk 'BEGIN{sum=0}{print $2;sum+=$2;}END{print sum} ' $RESULTFILE
        echo "end.."
}

function main()
{
        [ -f $RESULTFILE ] && rm -rf $RESULTFILE
        get_count
        compute_total
}

main

长寿梦 2014-07-15 19:25 发表评论

是否选择mongodb替换mysql

长寿梦 — Fri, 30 Aug 2013 01:42:00 GMT

为什么我们放弃使用mongodb
http://dank.iteye.com/blog/1069050

mysql与mongodb的应用分析
http://dank.iteye.com/blog/1062025

长寿梦 2013-08-30 09:42 发表评论