随笔-149  评论-223  文章-30  trackbacks-0
 
   为方便查看特定TCP服务器进程的CPU、内存和网络连接情况,编写了一个简单的脚本perf.sh,其原理是指定--tcp或-t选项来调用netstat命令,指定aux -T选项参数调用ps命令,对输出结果根据进程名称或PID调用grep过滤;为了输出结果的可读性,先调用ps和netstat,用head取出保存大多是说明描述性的头几行。这里的实现具有如下特点:
    支持单独查看CPU和内存利用率,或网络连接情况,或两者皆可,name表示进程名,address表示网络地址
    支持输出重定向,使用exec实现将标准输出重定向到file文件,当没指定-o file选项参数时,则为标准输出
    支持设置刷新时间,当没指定-t seconds选项参数时,则默认为3秒 
    支持显示多线程,当指定-m选项时,则显示多个线程的情况,默认不显示
  1#! /bin/bash
  2#perf.sh
  3
  4name=
  5address=
  6file=
  7seconds=
  8show_mthread=0
  9is_count=0
 10
 11while getopts :p:n:o:t:mv opt
 12do
 13    case $opt in
 14    p)  name=$OPTARG
 15        ;;
 16    n)  address=$OPTARG
 17        ;;
 18    o)  file=$OPTARG
 19        ;;
 20    t)  seconds=$OPTARG
 21        ;;
 22    m)  show_mthread=1
 23        ;;
 24    v)  is_count=1
 25        ;;
 26    '?')    echo "$0: invalid option -$OPTARG" >&2
 27            echo "Usage: $0 [-p name] [-n address] [-o file] [-t seconds] [-m]" >&2
 28            exit 1
 29            ;;
 30    esac
 31done
 32
 33shift $((OPTIND-1))
 34
 35if [ -"$name" --"$address" ]; then
 36    print"Usage $(basename "$0") [-p name] [-n address] [-o file] [-t seconds] [-m]\nname or address must not be null\n"
 37    exit 1
 38fi
 39
 40if [ -"$seconds" ]; then
 41    seconds=3
 42fi
 43
 44psflag="aux"
 45if [ "$show_mthread" = 1 ]; then
 46    psflag="$psflag -T"
 47fi
 48
 49psheader="`ps $psflag | head -n 1`"
 50sortflag="-k3nr -k4nr" #sort by descend order according to cpu and mem 
 51
 52netflag="-an --tcp --inet"
 53netheader="`netstat $netflag | head -n 2`"
 54is_exist=
 55
 56show_process_info()
 57{
 58    if [ -"$1" ]; then
 59        return 255
 60    fi
 61
 62    result=`ps $psflag | grep -"$1" | grep --"gdb|grep|$0" | sort $sortflag`
 63    if [ -"$result" ]; then
 64        is_exist=0    
 65    else
 66        is_exist=1
 67        uptime 
 68        echo "$psheader" 
 69        echo "$result"
 70    fi
 71    echo ""
 72}

 73
 74show_net_connection()
 75{
 76    if [ -"$1" ]; then
 77        return 255
 78    fi
 79
 80    result=`netstat  $netflag | grep -E $1
 81    if [ -"$result" ]; then
 82        echo "$netheader" 
 83        if [ "$is_count" = 1 ]; then
 84            echo "$result" | awk '/^tcp/ ++S[$NF] } ENDfor(a in S) print a, S[a] }'
 85        fi
 86    fi
 87    echo ""
 88}

 89
 90tmpfile=`mktemp /tmp/per.XXXXXXXXXXXX`
 91
 92while true
 93do
 94    if [ -"$file" ]; then
 95        exec 1> $tmpfile
 96    fi
 97
 98    show_process_info $name
 99    show_net_connection $address
100    echo ""
101
102    sleep $seconds
103
104    if [ -"$file" ]; then 
105        exec 1>&-
106
107        if [ "$is_exist" = 1 ]; then
108            cat $tmpfile >> $file
109        fi
110
111        size=`ls -l $file | awk '{print $5}'`
112        if [ $size -ge $(expr 1024 \* 1024 \* 1) ]; then
113            cat  /dev/null > $file    
114        fi
115    else
116        clear
117    fi
118done
   最后顺便提下,上面是查看某单个服务器进程的性能,若要查看整体服务器系统的性能,可以运用vmstat、iostat和free等命令。
posted @ 2012-09-04 16:35 春秋十二月 阅读(1682) | 评论 (1)编辑 收藏
原理
   在linux平台下编译由多个源码文件或目录组成的项目工程时,需要编写make脚本即Makefile文件来编译,当项目工程宠大时,这种方式比单纯地使用gcc命令行方便快捷,且易于维护。由于具体工程的源码文件数量的多少及名称的不同,因此编写一个较为通用的Makefile文件,来实现编译各种不同的工程,具有重要的参考意义和价值。本文展示了通用Makefile.in文件及其应用示例。Makefile.in文件,顾名思义,内部实现用的,应由外部具体的Makefile文件提供具体的命令行参数来调用,它包括exe,static,share三个规则目标,因此支持可执行文件、动态库和静态库三种工程的编译,而每种工程又支持debug和release两种版本,默认为release版本,在编译时会自动创建debug或release目录来存放所有中间文件*.o和*.d。在其脚本源码中,详见下面实现,小写变量为内部所有,大写变量为make命令行提供的参数,目前支持以下几种命令行参数:
     1)输出名称:OUT_NAME,对于库工程,内部自动添加lib前缀
     2)输出路径:OUT_PATH,
末尾反斜杠/可有可无
     3)源码路径:SRC_PATH, 末尾反斜杠/可有可无
     4)依赖动态库路径:SHARE_PATH,不带库名称的路径, 末尾反斜杠/可有可无 
     5)依赖动态库名称:SHARE_LIB,不带库路径的名称,内部自动添加-l前缀
     6)依赖静态库路径:STATIC_PATH,不带库名称的路径,
尾反斜杠/可有可无
     7)依赖静态库路径:STATIC_LIB,不带库路径的名称
     8)预定义宏:MACROS,内部自动添加-D前缀
     9)编译模式:MODE,表示编译成debug或release版本
     关于头文件包含的支持,这里没有提供命令行参数,在内部它固定为SRC_PATH、/usr/include和/usr/local/include三个路径,对于大多数的工程,应该够用了。

实现
 1#Makefile.in
 2
 3inc_path := $(SRC_PATH) /usr/include /usr/local/include
 4inc_path := $(addprefix -I,$(inc_path))
 5override SHARE_PATH += /usr/lib /usr/local/lib
 6override SHARE_PATH  := $(addprefix -L,$(SHARE_PATH))
 7override SHARE_LIB  := $(if $(SHARE_LIB),$(addprefix -l,$(SHARE_LIB)))
 8override STATIC_PATH := $(patsubst %/,%,$(STATIC_PATH)) 
 9override STATIC_LIB := $(if $(STATIC_PATH),$(if $(STATIC_LIB),$(addprefix $(STATIC_PATH)/,$(STATIC_LIB))))
10override SRC_PATH := $(patsubst %/,%,$(SRC_PATH))
11override MACROS := $(addprefix -D,$(MACROS))
12
13cxxflags := -Wall $(MACROS)
14
15ifeq ($(MODE),debug)
16  cxxflags += -
17  tmp_path := $(SRC_PATH)/debug
18else
19  cxxflags += -O2 -DNDEBUG 
20  tmp_path := $(SRC_PATH)/release
21endif
22
23lib_name := $(addprefix lib,$(OUT_NAME))
24
25srcs := $(wildcard $(SRC_PATH)/*.c) $(wildcard $(SRC_PATH)/*.cpp)
26deps := $(patsubst %.c,%.d,$(patsubst %.cpp,%.d,$(srcs)))
27deps := $(foreach dep,$(deps),$(notdir $(dep)))
28deps := $(addprefix $(tmp_path)/,$(deps))
29
30objs := $(patsubst %.c,%.o,$(patsubst %.cpp,%.o,$(srcs)))
31objs := $(foreach obj,$(objs),$(notdir $(obj)))
32objs := $(addprefix $(tmp_path)/,$(objs))
33
34share_name  := $(tmp_path)/$(lib_name).so
35static_name := $(tmp_path)/$(lib_name).a
36exe_name    := $(tmp_path)/$(OUT_NAME)
37    
38override MACROS := $(if $(MACROS),$(addprefix -D,$(MACROS)))
39
40.PHONY: exe lib static share clean config
41
42arflags    := -rc
43
44definMKDIR
45if [ ! -d $(tmp_path) ]; then \
46mkdir $(tmp_path);\
47fi 
48endef
49
50config:
51    @$(MKDIR)
52
53exe: config $(exe_name)
54
55lib: config static share
56
57static: $(static_name)
58    
59share: $(share_name)
60
61$(exe_name): $(objs) 
62    @echo "Linking to execute ($@ : $(objs))."
63    $(CXX) -o $@ $(objs) $(SHARE_PATH) $(SHARE_LIB) $(STATIC_LIB)
64    @cp $(exe_name) $(OUT_PATH) 
65        
66$(static_name): $(objs)
67    @echo "Archive to static library ($@ [$(objs)])."
68    $(AR) $(arflags) $@ $(objs)
69    @cp $(static_name) $(OUT_PATH) 
70    
71$(share_name): $(objs)
72    @echo "Linking to shared library ($@ [$(objs)])."
73    $(CXX) $(cxxflags) -o $@ $(objs) -fPIC -shared
74    @cp $(share_name) $(OUT_PATH) 
75    
76$(tmp_path)/%.o: $(SRC_PATH)/%.cpp $(tmp_path)/%.d
77    @echo "Compile $@ ($<)."
78    $(CXX) $(cxxflags) $(inc_path) -c $< -o $@
79
80$(tmp_path)/%.d: $(SRC_PATH)/%.cpp 
81    @echo "Compile $@ ($<)."
82    $(CXX) $(cxxflags) -MM $< -o $@.$$$$; \
83    sed 's,\($*\)\.o[ :]*,\1.o $@:, g' < $@.$$$$ > $@; \
84    rm -f $@.$$$$
85
86-include $(deps)
87
88clean:
89    $(RM) $(objs) $(deps) $(share_name) $(static_name) $(exe_name)

应用
   这里假设有两个源码子目录netcomm和server,前者为动态库netcomm工程,后者为主程序server工程,它依赖netcomm库,每个目录下都有其自己的Makefile,这个用于编译单个模块或主程序,它们的父目录为src,在这个目录下有两个Makefile文件,一个是Makefile.in,这个就是上面讲到的通用内部Makefile;另一个是Makefile,这个用来联编所有的模块和主程序。
   先来看下netcomm的Makefile文件内容,如下所示
 1path := SRC_PATH=. OUT_PATH=../../output
 2
 3.PHONY: all debug release clean
 4
 5all: debug release 
 6    
 7debug:
 8    $(MAKE) -../Makefile.in lib MODE=debug OUT_NAME=netcommd $(path)
 9
10release:
11    $(MAKE) -../Makefile.in lib MODE=release OUT_NAME=netcomm $(path)
12
13clean:
14    $(MAKE) -../Makefile.in clean MODE=debug OUT_NAME=netcommd $(path)
15    $(MAKE) -../Makefile.in clean MODE=release OUT_NAME=netcomm $(path)
     
   再看下server的Makefile文件内容,如下所示   
 1macros := MACROS="_USE_MEM_POOL=1"
 2
 3path := SRC_PATH=. OUT_PATH=../../output SHARE_PATH=../../output
 4
 5.PHONY: all debug release clean 
 6
 7all: debug release 
 8
 9debug:
10    $(MAKE) -../Makefile.in exe MODE=debug OUT_NAME=serverd SHARE_LIB="netcommd" $(macros) $(path)
11
12release:
13    $(MAKE) -../Makefile.in exe MODE=release OUT_NAME=server SHARE_LIB="netcomm" $(macros) $(path)
14
15clean:
16    $(MAKE) -../Makefile.in clean MODE=debug OUT_NAME=serverd $(path)
17    $(MAKE) -../Makefile.in clean MODE=release OUT_NAME=server $(path)
    
   最后看下src的Makefile文件内容,如下所示
 1.PHONY: all release debug clean
 2
 3all: debug release
 4
 5debug:
 6    $(MAKE) debug -C netcomm 
 7    $(MAKE) debug -C server
 8
 9release:
10    $(MAKE) release -C netcomm
11    $(MAKE) release -C server
12
13clean:
14    $(MAKE) clean -C netcomm
15    $(MAKE) clean -C server
   以上所有脚本代码,在make 3.81下测试通过。
posted @ 2012-08-16 19:29 春秋十二月 阅读(3448) | 评论 (3)编辑 收藏
     摘要:    信号量是一种用于并发环境同步手段的原语,分为无名信号量和有名信号量两种,前者只能用于线程间同步,而后者还可用于进程间同步。它包括创建、等待、挂出、取值和销毁5种基本操作。与互斥锁不同的是:    ● 信号量拥有一个计数值,表示可用的资源数量,仅当该值为0或1时,则相当于互斥锁。    &...  阅读全文
posted @ 2012-07-20 10:52 春秋十二月 阅读(2092) | 评论 (0)编辑 收藏
     摘要:    互斥锁,用来保证任一时刻只有单个线程或进程拥有对共享资源的互斥访问权,在这里将posix thread中的互斥体、win32中的互斥体和临界区,统称为互斥锁,其特点如下:   ● 范围:线程锁和进程锁,前者仅用于同一进程内多线程间,而后者用于进程间,显然,它也能用于同一进程内多线程间,但效率较低。posix的互斥体既可以是线程锁,...  阅读全文
posted @ 2012-06-23 00:08 春秋十二月 阅读(3465) | 评论 (2)编辑 收藏
     摘要:     socket pair,也称套接字管道,主要用来实现进程内或进程间的一对一的全双工或半双工通信,在IO复用模型(如select,poll,epoll等)中起到通知中断退出循环的作用,在类UNIX系统中已经有现成的实现,API为socketpair,但在Windows系统中没有,因此本文主要讲述Windows平台下soketpair的实现及应用,支持IPv4和I...  阅读全文
posted @ 2012-06-17 03:02 春秋十二月 阅读(2895) | 评论 (3)编辑 收藏
   自旋锁作为一种并发同步的手段,特别适用于竞争少和锁时间短的情况,在驱动及内核代码中经常被用到,本文讲述一种适合用户态程序的自旋锁,支持Windows和Linux(GCC>=4.1.2)平台,并提供了C语言的接口和实现。

接口
   spin_trylock如果获取成功返回1,否则返回0;spin_is_lock如果已加锁,返回1,否则返回0。
 1typedef struct 
 2{
 3 volatile long  flag_;
 4 volatile long* spin_;
 5}
spin_lock_t;
 6
 7void spin_init(spin_lock_t* lock,long* flag);
 8
 9void spin_lock(spin_lock_t* lock);
10
11int spin_trylock(spin_lock_t* lock);
12
13void spin_unlock(spin_lock_t* lock);
14
15int spin_is_lock(spin_lock_t* lock);

实现
 1#ifdef _MSC_VER
 2#include <windows.h>
 3#elif defined(__GNUC__)
 4#if __GNUC__<4 || (__GNUC__==4 && __GNUC_MINOR__<1)
 5#error GCC version must be greater or equal than 4.1.2
 6#endif
 7#include <sched.h>
 8#else
 9#error Currently only windows and linux os are supported
10#endif
11
12void spin_init(spin_lock_t* lock,long* flag)
13{
14#ifdef _MSC_VER
15    InterlockedExchange((volatile long*)&lock->flag_,0);
16    InterlockedExchange((volatile long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
17#elif defined(__GNUC__)
18    __sync_and_and_fetch((long*)&lock->flag_,0);
19    __sync_lock_test_and_set((long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
20#endif
21}

22
23void spin_lock(spin_lock_t* lock)
24{
25#ifdef _MSC_VER
26    for (;0!=InterlockedExchange((volatile long*)lock->spin_,1);)
27    {
28        Sleep(1);
29    }

30#elif defined(__GNUC__)
31    for (;0!=__sync_fetch_and_or(lock->spin_,1);)
32    {
33        sched_yield();
34    }

35#endif
36}

37
38int spin_trylock(spin_lock_t* lock)
39{
40#ifdef _MSC_VER
41    return !InterlockedExchange((volatile long*)lock->spin_,1);
42#elif defined(__GNUC__)
43    return !__sync_fetch_and_or(lock->spin_,1);
44#endif
45}

46
47void spin_unlock(spin_lock_t* lock)
48{
49#ifdef _MSC_VER
50    InterlockedExchange((volatile long*)lock->spin_,0);
51#elif defined(__GNUC__)
52    __sync_and_and_fetch(lock->spin_,0);
53#endif
54}

55
56int spin_is_lock(spin_lock_t* lock)
57{
58#ifdef _MSC_VER
59    return InterlockedExchangeAdd((volatile long*)lock->spin_,0);
60#elif defined(__GNUC__)
61    return __sync_add_and_fetch(lock->spin_,0);
62#endif
63}
posted @ 2012-06-13 21:02 春秋十二月 阅读(2971) | 评论 (3)编辑 收藏
     摘要: 主类模板    gcc从4.1.2版本开始提供了__sync_*系列的内置API,用于加减和逻辑运算,可以对1,2,4,8字节长度的数值或指针类型进行原子操作,为方便使用,笔者对这些API作了简单的封装。 Code highlighting produced by Actipro CodeHighlighter (freeware) http://...  阅读全文
posted @ 2012-06-08 00:19 春秋十二月 阅读(4513) | 评论 (1)编辑 收藏
     摘要:      类型选择是一种编译时的类型计算技术,也就是根据条件判断来匹配对应的类型,功能形如运行时的if else和switch case控制结构。在这里仿真运行时的条件语句,实现了类型选择,包括if单分支、if多分支和switch case三种结构,关于其原理及细节就不多讲了,直接看如下代码  (1)if单分支 Code ...  阅读全文
posted @ 2012-06-06 13:49 春秋十二月 阅读(2017) | 评论 (1)编辑 收藏
     摘要: 基本原理   在数据输入随机分布的情况下,快速排序具有较好的性能表现,但当元素个数比其关键字的取值范围大,而这个范围相对较小时,使用一种关键字索引统计排序会快很多,因为它的时间复杂度是线性的,基本原理是使用数组(为描述方便,特称统计数组),其下标对应关键字的值,存储元素按待排序关键字的值统计的出现次数,然后再按元素关键字的值,结合统计数组,放回到最终位置上。常规的实现...  阅读全文
posted @ 2012-05-31 12:11 春秋十二月 阅读(1782) | 评论 (0)编辑 收藏
   本文就Loki编译期技术中的类型列表Typelist作了一些扩展,增加了以下几个方法:
      • 获取最大和最小长度,即求取Typelist中长度最大和最小的值  
      • 获取最大和最小类型,即求取Typelist中长度最大和最小的类型


实现
   位于Loki::TL命名空间,利用递归计算最值结果,使用宏生成主类模板和特化类模板,其中后缀为DEFN(N为正整数)形式的宏中N表示特化类模板所带的模板参数数量,使用DEF1宏定义对应的特化类模板的原因在于:当Typelist中存在非NullType类型时,保证结果的正确性。当N为2时参数取值:name为Max则b为true;name为Min则b为false。
   主类模板
   用于定义MaxSize、MinSize和MaxType、MinType主类模板,使用宏LOKI_TYPELIST_METHOD_DEF生成。 
1    #define LOKI_TYPELIST_METHOD_DEF(name)\
2    template <class TList>\
3    struct name;\
4    
5    LOKI_TYPELIST_METHOD_DEF(MaxSize)
6    LOKI_TYPELIST_METHOD_DEF(MinSize)
7    LOKI_TYPELIST_METHOD_DEF(MaxType)
8    LOKI_TYPELIST_METHOD_DEF(MinType)

   最大(小)长度
   对应类主模板分别为MaxSize和MinSize,每种有3个特化模板,使用宏LOKI_TYPELIST_SIZE_SPEC_DEFN生成(N为0、1、2)。
 1    #define LOKI_TYPELIST_SIZE_SPEC_DEF0(name)\
 2    template<>\
 3    struct name##Size<NullType>\
 4    {\
 5        enum { value = 0 };\
 6    }
;\
 7    
 8    #define LOKI_TYPELIST_SIZE_SPEC_DEF1(name)\
 9    template<class T>\
10    struct name##Size<Typelist<T,NullType> >\
11    {\
12        enum { value = sizeof(T) };\
13    }
;\
14    
15    #define LOKI_TYPELIST_SIZE_SPEC_DEF2(name,b)\
16    template<class T,class U>\
17    struct name##Size<Typelist<T,U> >\
18    {\
19        enum { tmp = name##Size<U>::value };\
20        enum { value = (b ? sizeof(T) > tmp : sizeof(T) < tmp) ? sizeof(T) : tmp };\
21    }
;\
22    
23    LOKI_TYPELIST_SIZE_SPEC_DEF0(Max)
24    LOKI_TYPELIST_SIZE_SPEC_DEF0(Min)
25    LOKI_TYPELIST_SIZE_SPEC_DEF1(Max)
26    LOKI_TYPELIST_SIZE_SPEC_DEF1(Min)
27    LOKI_TYPELIST_SIZE_SPEC_DEF2(Max,true)
28    LOKI_TYPELIST_SIZE_SPEC_DEF2(Min,false)
29    
30    #undef LOKI_TYPELIST_SIZE_SPEC_DEF0
31    #undef LOKI_TYPELIST_SIZE_SPEC_DEF1
32    #undef LOKI_TYPELIST_SIZE_SPEC_DEF2

   最大(小)类型
   对应类主模板分别为MaxType和MinType,每种有3个特化模板,使用宏LOKI_TYPELIST_TYPE_SPEC_DEFN生成(N为0、1、2)。   
 1    #define LOKI_TYPELIST_TYPE_SPEC_DEF0(name)\
 2    template<>\
 3    struct name##Type<NullType>\
 4    {\
 5        typedef NullType type;\
 6    }
;\
 7    
 8    #define LOKI_TYPELIST_TYPE_SPEC_DEF1(name)\
 9    template<class T>\
10    struct name##Type<Typelist<T,NullType> >\
11    {\
12        typedef T type;\
13    }
;\
14    
15    #define LOKI_TYPELIST_TYPE_SPEC_DEF2(name,b)\
16    template<class T,class U>\
17    struct name##Type<Typelist<T,U> >\
18    {\
19        typedef typename name##Type<U>::type R;\
20        typedef typename Select< b ? (sizeof(T)>sizeof(R)) : (sizeof(T)<sizeof(R)),T,R>::Result type;\
21    }
;\
22    
23    LOKI_TYPELIST_TYPE_SPEC_DEF0(Max)
24    LOKI_TYPELIST_TYPE_SPEC_DEF0(Min)
25    LOKI_TYPELIST_TYPE_SPEC_DEF1(Max)
26    LOKI_TYPELIST_TYPE_SPEC_DEF1(Min)
27    LOKI_TYPELIST_TYPE_SPEC_DEF2(Max,true)
28    LOKI_TYPELIST_TYPE_SPEC_DEF2(Min,false)
29    
30    #undef LOKI_TYPELIST_TYPE_SPEC_DEF0
31    #undef LOKI_TYPELIST_TYPE_SPEC_DEF1
32    #undef LOKI_TYPELIST_TYPE_SPEC_DEF2
   这里用到了Loki中的Select组件来选择类型。

示例
   使用LOKI中的LOKI_STATIC_CHECK宏来做编译期诊断结果正确性。
 1#define LOKI_TL4 LOKI_TYPELIST_4(double,int,short,char) 
 2
 3int main(int argc,char *argv[])
 4{
 5    static const int max_val = Loki::TL::MaxSize<LOKI_TL4 >::value;
 6    LOKI_STATIC_CHECK(max_val==sizeof(double),max_val_should_be_sizeof_double)
 7
 8    static const int min_val = Loki::TL::MinSize<LOKI_TL4 >::value;
 9    LOKI_STATIC_CHECK(min_val==sizeof(char),min_val_should_be_sizeof_char)
10
11    typedef Loki::TL::MaxType<LOKI_TL4 >::type max_type;
12    LOKI_STATIC_CHECK((Loki::IsSameType<max_type,double>::value),max_type_should_be_double)
13
14    typedef Loki::TL::MinType<LOKI_TL4 >::type min_type;
15    LOKI_STATIC_CHECK((Loki::IsSameType<min_type,char>::value),min_type_should_be_char)
16
17    return 0;
18}
posted @ 2012-05-29 01:03 春秋十二月 阅读(1841) | 评论 (2)编辑 收藏
仅列出标题
共15页: First 7 8 9 10 11 12 13 14 15