随笔-103  评论-224  文章-30  trackbacks-0
 
     摘要: 情景分析   现已存在一个可用稳定的异步客户端类http_client_base,该类基于boost asio实现了连接服务器,发送请求,获取响应和解析http数据等操作,该类的大致实现框架如下 Code highlighting produced by Actipro CodeHighlighter (freeware) http://www.C...  阅读全文
posted @ 2013-03-20 20:47 春秋十二月 阅读(11750) | 评论 (2)编辑 收藏
   本文以统计磁盘文件系统已用空间为例说明awk的用法,使用命令df可获得磁盘文件系统的相关信息,如下图所示
      
   第3列Used便是已用空间的数据,这是正常的情形。当第1列Filesystem文本过长时,就有可能换行输出,这是特殊的情形,如下图所示
      
   针对这两种情形,如何写出有效的命令脚本来统计Used列的数据和呢?从上面两图观察对比显然可得,以空白符开头的文本行便是特殊情形,需要计算的是第2列;而正常情形的文本行,便是第3列。因此可得出awk脚本:   awk '{ if($0~/^ /) s+=$2; else s+=$3;} END{ print "Used total is: "s }'

   用于正常情形,输出如下
         
   而特殊情形,则输出如下
      
posted @ 2012-11-01 17:47 春秋十二月 阅读(1520) | 评论 (1)编辑 收藏
     摘要: 引言    在面向对象类的设计中,有时为了强化效能,特别是当构造大量小对象时,为了改善内存碎片,就需要自己实现对象的内存管理,以替换系统缺省的分配和释放行为,即全局的new和delete。按照c++标准,在定制类专属的new和delete时,为了减免客户代码使用时的麻烦和问题,需要考虑同时定制简单(normal new)、定位(placement new)和无异常(...  阅读全文
posted @ 2012-09-27 17:37 春秋十二月 阅读(1958) | 评论 (2)编辑 收藏
     摘要: 情景分析    在网络编程中,通常异步比同步处理更为复杂,但由于异步的事件通知机制,避免了同步方式中的忙等待,提高了吞吐量,因此效率较高,在高性能应用开发中,经常被用到。而在处理异步相关的问题时,状态机模式是一种典型的有效方法,这在libevent、memcached、nginx等开源软件(库)中多次被使用而得到见证。据此,为抛砖引玉,本文展示了使用此方法异步接收变...  阅读全文
posted @ 2012-09-20 15:48 春秋十二月 阅读(2679) | 评论 (2)编辑 收藏
   为方便查看特定TCP服务器进程的CPU、内存和网络连接情况,编写了一个简单的脚本perf.sh,其原理是指定--tcp或-t选项来调用netstat命令,指定aux -T选项参数调用ps命令,对输出结果根据进程名称或PID调用grep过滤;为了输出结果的可读性,先调用ps和netstat,用head取出保存大多是说明描述性的头几行。这里的实现具有如下特点:
    支持单独查看CPU和内存利用率,或网络连接情况,或两者皆可,name表示进程名,address表示网络地址
    支持输出重定向,使用exec实现将标准输出重定向到file文件,当没指定-o file选项参数时,则为标准输出
    支持设置刷新时间,当没指定-t seconds选项参数时,则默认为3秒 
    支持显示多线程,当指定-m选项时,则显示多个线程的情况,默认不显示
  1#! /bin/bash
  2#perf.sh
  3
  4name=
  5address=
  6file=
  7seconds=
  8show_mthread=0
  9is_count=0
 10
 11while getopts :p:n:o:t:mv opt
 12do
 13    case $opt in
 14    p)  name=$OPTARG
 15        ;;
 16    n)  address=$OPTARG
 17        ;;
 18    o)  file=$OPTARG
 19        ;;
 20    t)  seconds=$OPTARG
 21        ;;
 22    m)  show_mthread=1
 23        ;;
 24    v)  is_count=1
 25        ;;
 26    '?')    echo "$0: invalid option -$OPTARG" >&2
 27            echo "Usage: $0 [-p name] [-n address] [-o file] [-t seconds] [-m]" >&2
 28            exit 1
 29            ;;
 30    esac
 31done
 32
 33shift $((OPTIND-1))
 34
 35if [ -"$name" --"$address" ]; then
 36    print"Usage $(basename "$0") [-p name] [-n address] [-o file] [-t seconds] [-m]\nname or address must not be null\n"
 37    exit 1
 38fi
 39
 40if [ -"$seconds" ]; then
 41    seconds=3
 42fi
 43
 44psflag="aux"
 45if [ "$show_mthread" = 1 ]; then
 46    psflag="$psflag -T"
 47fi
 48
 49psheader="`ps $psflag | head -n 1`"
 50sortflag="-k3nr -k4nr" #sort by descend order according to cpu and mem 
 51
 52netflag="-an --tcp --inet"
 53netheader="`netstat $netflag | head -n 2`"
 54is_exist=
 55
 56show_process_info()
 57{
 58    if [ -"$1" ]; then
 59        return 255
 60    fi
 61
 62    result=`ps $psflag | grep -"$1" | grep --"gdb|grep|$0" | sort $sortflag`
 63    if [ -"$result" ]; then
 64        is_exist=0    
 65    else
 66        is_exist=1
 67        uptime 
 68        echo "$psheader" 
 69        echo "$result"
 70    fi
 71    echo ""
 72}

 73
 74show_net_connection()
 75{
 76    if [ -"$1" ]; then
 77        return 255
 78    fi
 79
 80    result=`netstat  $netflag | grep -E $1
 81    if [ -"$result" ]; then
 82        echo "$netheader" 
 83        if [ "$is_count" = 1 ]; then
 84            echo "$result" | awk '/^tcp/ ++S[$NF] } ENDfor(a in S) print a, S[a] }'
 85        fi
 86    fi
 87    echo ""
 88}

 89
 90tmpfile=`mktemp /tmp/per.XXXXXXXXXXXX`
 91
 92while true
 93do
 94    if [ -"$file" ]; then
 95        exec 1> $tmpfile
 96    fi
 97
 98    show_process_info $name
 99    show_net_connection $address
100    echo ""
101
102    sleep $seconds
103
104    if [ -"$file" ]; then 
105        exec 1>&-
106
107        if [ "$is_exist" = 1 ]; then
108            cat $tmpfile >> $file
109        fi
110
111        size=`ls -l $file | awk '{print $5}'`
112        if [ $size -ge $(expr 1024 \* 1024 \* 1) ]; then
113            cat  /dev/null > $file    
114        fi
115    else
116        clear
117    fi
118done
   最后顺便提下,上面是查看某单个服务器进程的性能,若要查看整体服务器系统的性能,可以运用vmstat、iostat和free等命令。
posted @ 2012-09-04 16:35 春秋十二月 阅读(1620) | 评论 (1)编辑 收藏
原理
   在linux平台下编译由多个源码文件或目录组成的项目工程时,需要编写make脚本即Makefile文件来编译,当项目工程宠大时,这种方式比单纯地使用gcc命令行方便快捷,且易于维护。由于具体工程的源码文件数量的多少及名称的不同,因此编写一个较为通用的Makefile文件,来实现编译各种不同的工程,具有重要的参考意义和价值。本文展示了通用Makefile.in文件及其应用示例。Makefile.in文件,顾名思义,内部实现用的,应由外部具体的Makefile文件提供具体的命令行参数来调用,它包括exe,static,share三个规则目标,因此支持可执行文件、动态库和静态库三种工程的编译,而每种工程又支持debug和release两种版本,默认为release版本,在编译时会自动创建debug或release目录来存放所有中间文件*.o和*.d。在其脚本源码中,详见下面实现,小写变量为内部所有,大写变量为make命令行提供的参数,目前支持以下几种命令行参数:
     1)输出名称:OUT_NAME,对于库工程,内部自动添加lib前缀
     2)输出路径:OUT_PATH,
末尾反斜杠/可有可无
     3)源码路径:SRC_PATH, 末尾反斜杠/可有可无
     4)依赖动态库路径:SHARE_PATH,不带库名称的路径, 末尾反斜杠/可有可无 
     5)依赖动态库名称:SHARE_LIB,不带库路径的名称,内部自动添加-l前缀
     6)依赖静态库路径:STATIC_PATH,不带库名称的路径,
尾反斜杠/可有可无
     7)依赖静态库路径:STATIC_LIB,不带库路径的名称
     8)预定义宏:MACROS,内部自动添加-D前缀
     9)编译模式:MODE,表示编译成debug或release版本
     关于头文件包含的支持,这里没有提供命令行参数,在内部它固定为SRC_PATH、/usr/include和/usr/local/include三个路径,对于大多数的工程,应该够用了。

实现
 1#Makefile.in
 2
 3inc_path := $(SRC_PATH) /usr/include /usr/local/include
 4inc_path := $(addprefix -I,$(inc_path))
 5override SHARE_PATH += /usr/lib /usr/local/lib
 6override SHARE_PATH  := $(addprefix -L,$(SHARE_PATH))
 7override SHARE_LIB  := $(if $(SHARE_LIB),$(addprefix -l,$(SHARE_LIB)))
 8override STATIC_PATH := $(patsubst %/,%,$(STATIC_PATH)) 
 9override STATIC_LIB := $(if $(STATIC_PATH),$(if $(STATIC_LIB),$(addprefix $(STATIC_PATH)/,$(STATIC_LIB))))
10override SRC_PATH := $(patsubst %/,%,$(SRC_PATH))
11override MACROS := $(addprefix -D,$(MACROS))
12
13cxxflags := -Wall $(MACROS)
14
15ifeq ($(MODE),debug)
16  cxxflags += -
17  tmp_path := $(SRC_PATH)/debug
18else
19  cxxflags += -O2 -DNDEBUG 
20  tmp_path := $(SRC_PATH)/release
21endif
22
23lib_name := $(addprefix lib,$(OUT_NAME))
24
25srcs := $(wildcard $(SRC_PATH)/*.c) $(wildcard $(SRC_PATH)/*.cpp)
26deps := $(patsubst %.c,%.d,$(patsubst %.cpp,%.d,$(srcs)))
27deps := $(foreach dep,$(deps),$(notdir $(dep)))
28deps := $(addprefix $(tmp_path)/,$(deps))
29
30objs := $(patsubst %.c,%.o,$(patsubst %.cpp,%.o,$(srcs)))
31objs := $(foreach obj,$(objs),$(notdir $(obj)))
32objs := $(addprefix $(tmp_path)/,$(objs))
33
34share_name  := $(tmp_path)/$(lib_name).so
35static_name := $(tmp_path)/$(lib_name).a
36exe_name    := $(tmp_path)/$(OUT_NAME)
37    
38override MACROS := $(if $(MACROS),$(addprefix -D,$(MACROS)))
39
40.PHONY: exe lib static share clean config
41
42arflags    := -rc
43
44definMKDIR
45if [ ! -d $(tmp_path) ]; then \
46mkdir $(tmp_path);\
47fi 
48endef
49
50config:
51    @$(MKDIR)
52
53exe: config $(exe_name)
54
55lib: config static share
56
57static: $(static_name)
58    
59share: $(share_name)
60
61$(exe_name): $(objs) 
62    @echo "Linking to execute ($@ : $(objs))."
63    $(CXX) -o $@ $(objs) $(SHARE_PATH) $(SHARE_LIB) $(STATIC_LIB)
64    @cp $(exe_name) $(OUT_PATH) 
65        
66$(static_name): $(objs)
67    @echo "Archive to static library ($@ [$(objs)])."
68    $(AR) $(arflags) $@ $(objs)
69    @cp $(static_name) $(OUT_PATH) 
70    
71$(share_name): $(objs)
72    @echo "Linking to shared library ($@ [$(objs)])."
73    $(CXX) $(cxxflags) -o $@ $(objs) -fPIC -shared
74    @cp $(share_name) $(OUT_PATH) 
75    
76$(tmp_path)/%.o: $(SRC_PATH)/%.cpp $(tmp_path)/%.d
77    @echo "Compile $@ ($<)."
78    $(CXX) $(cxxflags) $(inc_path) -c $< -o $@
79
80$(tmp_path)/%.d: $(SRC_PATH)/%.cpp 
81    @echo "Compile $@ ($<)."
82    $(CXX) $(cxxflags) -MM $< -o $@.$$$$; \
83    sed 's,\($*\)\.o[ :]*,\1.o $@:, g' < $@.$$$$ > $@; \
84    rm -f $@.$$$$
85
86-include $(deps)
87
88clean:
89    $(RM) $(objs) $(deps) $(share_name) $(static_name) $(exe_name)

应用
   这里假设有两个源码子目录netcomm和server,前者为动态库netcomm工程,后者为主程序server工程,它依赖netcomm库,每个目录下都有其自己的Makefile,这个用于编译单个模块或主程序,它们的父目录为src,在这个目录下有两个Makefile文件,一个是Makefile.in,这个就是上面讲到的通用内部Makefile;另一个是Makefile,这个用来联编所有的模块和主程序。
   先来看下netcomm的Makefile文件内容,如下所示
 1path := SRC_PATH=. OUT_PATH=../../output
 2
 3.PHONY: all debug release clean
 4
 5all: debug release 
 6    
 7debug:
 8    $(MAKE) -../Makefile.in lib MODE=debug OUT_NAME=netcommd $(path)
 9
10release:
11    $(MAKE) -../Makefile.in lib MODE=release OUT_NAME=netcomm $(path)
12
13clean:
14    $(MAKE) -../Makefile.in clean MODE=debug OUT_NAME=netcommd $(path)
15    $(MAKE) -../Makefile.in clean MODE=release OUT_NAME=netcomm $(path)
     
   再看下server的Makefile文件内容,如下所示   
 1macros := MACROS="_USE_MEM_POOL=1"
 2
 3path := SRC_PATH=. OUT_PATH=../../output SHARE_PATH=../../output
 4
 5.PHONY: all debug release clean 
 6
 7all: debug release 
 8
 9debug:
10    $(MAKE) -../Makefile.in exe MODE=debug OUT_NAME=serverd SHARE_LIB="netcommd" $(macros) $(path)
11
12release:
13    $(MAKE) -../Makefile.in exe MODE=release OUT_NAME=server SHARE_LIB="netcomm" $(macros) $(path)
14
15clean:
16    $(MAKE) -../Makefile.in clean MODE=debug OUT_NAME=serverd $(path)
17    $(MAKE) -../Makefile.in clean MODE=release OUT_NAME=server $(path)
    
   最后看下src的Makefile文件内容,如下所示
 1.PHONY: all release debug clean
 2
 3all: debug release
 4
 5debug:
 6    $(MAKE) debug -C netcomm 
 7    $(MAKE) debug -C server
 8
 9release:
10    $(MAKE) release -C netcomm
11    $(MAKE) release -C server
12
13clean:
14    $(MAKE) clean -C netcomm
15    $(MAKE) clean -C server
   以上所有脚本代码,在make 3.81下测试通过。
posted @ 2012-08-16 19:29 春秋十二月 阅读(3310) | 评论 (3)编辑 收藏
     摘要:    信号量是一种用于并发环境同步手段的原语,分为无名信号量和有名信号量两种,前者只能用于线程间同步,而后者还可用于进程间同步。它包括创建、等待、挂出、取值和销毁5种基本操作。与互斥锁不同的是:    ● 信号量拥有一个计数值,表示可用的资源数量,仅当该值为0或1时,则相当于互斥锁。    &...  阅读全文
posted @ 2012-07-20 10:52 春秋十二月 阅读(1974) | 评论 (0)编辑 收藏
     摘要:    互斥锁,用来保证任一时刻只有单个线程或进程拥有对共享资源的互斥访问权,在这里将posix thread中的互斥体、win32中的互斥体和临界区,统称为互斥锁,其特点如下:   ● 范围:线程锁和进程锁,前者仅用于同一进程内多线程间,而后者用于进程间,显然,它也能用于同一进程内多线程间,但效率较低。posix的互斥体既可以是线程锁,...  阅读全文
posted @ 2012-06-23 00:08 春秋十二月 阅读(3311) | 评论 (2)编辑 收藏
     摘要:     socket pair,也称套接字管道,主要用来实现进程内或进程间的一对一的全双工或半双工通信,在IO复用模型(如select,poll,epoll等)中起到通知中断退出循环的作用,在类UNIX系统中已经有现成的实现,API为socketpair,但在Windows系统中没有,因此本文主要讲述Windows平台下soketpair的实现及应用,支持IPv4和I...  阅读全文
posted @ 2012-06-17 03:02 春秋十二月 阅读(2786) | 评论 (3)编辑 收藏
   自旋锁作为一种并发同步的手段,特别适用于竞争少和锁时间短的情况,在驱动及内核代码中经常被用到,本文讲述一种适合用户态程序的自旋锁,支持Windows和Linux(GCC>=4.1.2)平台,并提供了C语言的接口和实现。

接口
   spin_trylock如果获取成功返回1,否则返回0;spin_is_lock如果已加锁,返回1,否则返回0。
 1typedef struct 
 2{
 3 volatile long  flag_;
 4 volatile long* spin_;
 5}
spin_lock_t;
 6
 7void spin_init(spin_lock_t* lock,long* flag);
 8
 9void spin_lock(spin_lock_t* lock);
10
11int spin_trylock(spin_lock_t* lock);
12
13void spin_unlock(spin_lock_t* lock);
14
15int spin_is_lock(spin_lock_t* lock);

实现
 1#ifdef _MSC_VER
 2#include <windows.h>
 3#elif defined(__GNUC__)
 4#if __GNUC__<4 || (__GNUC__==4 && __GNUC_MINOR__<1)
 5#error GCC version must be greater or equal than 4.1.2
 6#endif
 7#include <sched.h>
 8#else
 9#error Currently only windows and linux os are supported
10#endif
11
12void spin_init(spin_lock_t* lock,long* flag)
13{
14#ifdef _MSC_VER
15    InterlockedExchange((volatile long*)&lock->flag_,0);
16    InterlockedExchange((volatile long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
17#elif defined(__GNUC__)
18    __sync_and_and_fetch((long*)&lock->flag_,0);
19    __sync_lock_test_and_set((long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
20#endif
21}

22
23void spin_lock(spin_lock_t* lock)
24{
25#ifdef _MSC_VER
26    for (;0!=InterlockedExchange((volatile long*)lock->spin_,1);)
27    {
28        Sleep(1);
29    }

30#elif defined(__GNUC__)
31    for (;0!=__sync_fetch_and_or(lock->spin_,1);)
32    {
33        sched_yield();
34    }

35#endif
36}

37
38int spin_trylock(spin_lock_t* lock)
39{
40#ifdef _MSC_VER
41    return !InterlockedExchange((volatile long*)lock->spin_,1);
42#elif defined(__GNUC__)
43    return !__sync_fetch_and_or(lock->spin_,1);
44#endif
45}

46
47void spin_unlock(spin_lock_t* lock)
48{
49#ifdef _MSC_VER
50    InterlockedExchange((volatile long*)lock->spin_,0);
51#elif defined(__GNUC__)
52    __sync_and_and_fetch(lock->spin_,0);
53#endif
54}

55
56int spin_is_lock(spin_lock_t* lock)
57{
58#ifdef _MSC_VER
59    return InterlockedExchangeAdd((volatile long*)lock->spin_,0);
60#elif defined(__GNUC__)
61    return __sync_add_and_fetch(lock->spin_,0);
62#endif
63}
posted @ 2012-06-13 21:02 春秋十二月 阅读(2846) | 评论 (3)编辑 收藏
仅列出标题
共11页: First 2 3 4 5 6 7 8 9 10 Last