一年十二月谁主春秋关注：基础系统工程密码学人工智能

摘要: 引言在面向对象类的设计中，有时为了强化效能，特别是当构造大量小对象时，为了改善内存碎片，就需要自己实现对象的内存管理，以替换系统缺省的分配和释放行为，即全局的new和delete。按照c++标准，在定制类专属的new和delete时，为了减免客户代码使用时的麻烦和问题，需要考虑同时定制简单(normal new)、定位(placement new)和无异常(... 阅读全文

posted @ 2012-09-27 17:37 春秋十二月阅读(2087) | 评论 (2) | 编辑收藏

运用状态机异步接收变长包

摘要: 情景分析在网络编程中，通常异步比同步处理更为复杂，但由于异步的事件通知机制，避免了同步方式中的忙等待，提高了吞吐量，因此效率较高，在高性能应用开发中，经常被用到。而在处理异步相关的问题时，状态机模式是一种典型的有效方法，这在libevent、memcached、nginx等开源软件(库)中多次被使用而得到见证。据此，为抛砖引玉，本文展示了使用此方法异步接收变... 阅读全文

posted @ 2012-09-20 15:48 春秋十二月阅读(2830) | 评论 (2) | 编辑收藏

Shell应用（2）: 查看TCP服务器的性能

   为方便查看特定TCP服务器进程的CPU、内存和网络连接情况，编写了一个简单的脚本perf.sh，其原理是指定--tcp或-t选项来调用netstat命令，指定aux -T选项参数调用ps命令，对输出结果根据进程名称或PID调用grep过滤；为了输出结果的可读性，先调用ps和netstat，用head取出保存大多是说明描述性的头几行。这里的实现具有如下特点：
   ● 支持单独查看CPU和内存利用率，或网络连接情况，或两者皆可，name表示进程名，address表示网络地址
   ● 支持输出重定向，使用exec实现将标准输出重定向到file文件，当没指定-o file选项参数时，则为标准输出
   ● 支持设置刷新时间，当没指定-t seconds选项参数时，则默认为3秒
   ● 支持显示多线程，当指定-m选项时，则显示多个线程的情况，默认不显示

#! /bin/bash
2

#perf.sh
3

name=
5

address=
6

file=
7

seconds=
8

show_mthread=0
9

is_count=0
10

while getopts :p:n:o:t:mv opt
12

do
13

case $opt in
14

p) name=$OPTARG
15

;;
16

n) address=$OPTARG
17

;;
18

o) file=$OPTARG
19

;;
20

t) seconds=$OPTARG
21

;;
22

m) show_mthread=1
23

;;
24

v) is_count=1
25

;;
26

'?') echo "$0: invalid option -$OPTARG" >&2
27

echo "Usage: $0 [-p name] [-n address] [-o file] [-t seconds] [-m]" >&2
28

exit 1
29

;;
30

esac
31

done
32

shift $((OPTIND-1))
34

if [ -z "$name" -a -z "$address" ]; then
36

printf "Usage $(basename "$0") [-p name] [-n address] [-o file] [-t seconds] [-m]\nname or address must not be null\n"
37

exit 1
38

fi
39

if [ -z "$seconds" ]; then
41

seconds=3
42

fi
43

psflag="aux"
45

if [ "$show_mthread" = 1 ]; then
46

psflag="$psflag -T"
47

fi
48

psheader="`ps $psflag | head -n 1`"
50

sortflag="-k3nr -k4nr" #sort by descend order according to cpu and mem
51

netflag="-an --tcp --inet"
53

netheader="`netstat $netflag | head -n 2`"
54

is_exist=
55

show_process_info()
57

{
58

if [ -z "$1" ]; then
59

return 255
60

fi
61

if [ -z "$result" ]; then
64

is_exist=0
65

else
66

is_exist=1
67

uptime
68

echo "$psheader"
69

echo "$result"
70

fi
71

echo ""
72

}
73

show_net_connection()
75

{
76

if [ -z "$1" ]; then
77

return 255
78

fi
79

result=`netstat $netflag | grep -E $1`
81

if [ -n "$result" ]; then
82

echo "$netheader"
83

if [ "$is_count" = 1 ]; then
84

echo "$result" | awk '/^tcp/ { ++S[$NF] } END{ for(a in S) print a, S[a] }'
85

fi
86

fi
87

echo ""
88

}
89

tmpfile=`mktemp /tmp/per.XXXXXXXXXXXX`
91

while true
93

do
94

if [ -n "$file" ]; then
95

exec 1> $tmpfile
96

fi
97

show_process_info $name
99

show_net_connection $address
100

echo ""
101

102

sleep $seconds
103

104

if [ -n "$file" ]; then
105

exec 1>&-
106

107

if [ "$is_exist" = 1 ]; then
108

cat $tmpfile >> $file
109

fi
110

111

size=`ls -l $file | awk '{print $5}'`
112

if [ $size -ge $(expr 1024 \* 1024 \* 1) ]; then
113

cat /dev/null > $file
114

fi
115

else
116

clear
117

fi
118

done

最后顺便提下，上面是查看某单个服务器进程的性能，若要查看整体服务器系统的性能，可以运用vmstat、iostat和free等命令。

posted @ 2012-09-04 16:35 春秋十二月阅读(1719) | 评论 (1) | 编辑收藏

通用Makefile文件及应用

原理
在linux平台下编译由多个源码文件或目录组成的项目工程时，需要编写make脚本即Makefile文件来编译，当项目工程宠大时，这种方式比单纯地使用gcc命令行方便快捷，且易于维护。由于具体工程的源码文件数量的多少及名称的不同，因此编写一个较为通用的Makefile文件，来实现编译各种不同的工程，具有重要的参考意义和价值。本文展示了通用Makefile.in文件及其应用示例。Makefile.in文件，顾名思义，内部实现用的，应由外部具体的Makefile文件提供具体的命令行参数来调用，它包括exe,static,share三个规则目标，因此支持可执行文件、动态库和静态库三种工程的编译，而每种工程又支持debug和release两种版本，默认为release版本，在编译时会自动创建debug或release目录来存放所有中间文件*.o和*.d。在其脚本源码中，详见下面实现，小写变量为内部所有，大写变量为make命令行提供的参数，目前支持以下几种命令行参数：
     1）输出名称：OUT_NAME，对于库工程，内部自动添加lib前缀
     2）输出路径：OUT_PATH，末尾反斜杠/可有可无
3）源码路径：SRC_PATH，末尾反斜杠/可有可无
     4）依赖动态库路径：SHARE_PATH，不带库名称的路径，末尾反斜杠/可有可无
5）依赖动态库名称：SHARE_LIB，不带库路径的名称，内部自动添加-l前缀
     6）依赖静态库路径：STATIC_PATH，不带库名称的路径，末尾反斜杠/可有可无
     7）依赖静态库路径：STATIC_LIB，不带库路径的名称
     8）预定义宏：MACROS，内部自动添加-D前缀
     9）编译模式：MODE，表示编译成debug或release版本
     关于头文件包含的支持，这里没有提供命令行参数，在内部它固定为SRC_PATH、/usr/include和/usr/local/include三个路径，对于大多数的工程，应该够用了。

实现

#Makefile.in
2

inc_path := $(SRC_PATH) /usr/include /usr/local/include
4

inc_path := $(addprefix -I,$(inc_path))
5

override SHARE_PATH += /usr/lib /usr/local/lib
6

override SHARE_PATH := $(addprefix -L,$(SHARE_PATH))
7

override SHARE_LIB := $(if $(SHARE_LIB),$(addprefix -l,$(SHARE_LIB)))
8

override STATIC_PATH := $(patsubst %/,%,$(STATIC_PATH))
9

override STATIC_LIB := $(if $(STATIC_PATH),$(if $(STATIC_LIB),$(addprefix $(STATIC_PATH)/,$(STATIC_LIB))))
10

override SRC_PATH := $(patsubst %/,%,$(SRC_PATH))
11

override MACROS := $(addprefix -D,$(MACROS))
12

cxxflags := -Wall $(MACROS)
14

ifeq ($(MODE),debug)
16

cxxflags += -g
17

tmp_path := $(SRC_PATH)/debug
18

else
19

cxxflags += -O2 -DNDEBUG
20

tmp_path := $(SRC_PATH)/release
21

endif
22

lib_name := $(addprefix lib,$(OUT_NAME))
24

srcs := $(wildcard $(SRC_PATH)/*.c) $(wildcard $(SRC_PATH)/*.cpp)
26

deps := $(patsubst %.c,%.d,$(patsubst %.cpp,%.d,$(srcs)))
27

deps := $(foreach dep,$(deps),$(notdir $(dep)))
28

deps := $(addprefix $(tmp_path)/,$(deps))
29

objs := $(patsubst %.c,%.o,$(patsubst %.cpp,%.o,$(srcs)))
31

objs := $(foreach obj,$(objs),$(notdir $(obj)))
32

objs := $(addprefix $(tmp_path)/,$(objs))
33

share_name := $(tmp_path)/$(lib_name).so
35

static_name := $(tmp_path)/$(lib_name).a
36

exe_name := $(tmp_path)/$(OUT_NAME)
37

override MACROS := $(if $(MACROS),$(addprefix -D,$(MACROS)))
39

.PHONY: exe lib static share clean config
41

arflags := -rc
43

define MKDIR
45

if [ ! -d $(tmp_path) ]; then \
46

mkdir $(tmp_path);\
47

fi
48

endef
49

config:
51

@$(MKDIR)
52

exe: config $(exe_name)
54

lib: config static share
56

static: $(static_name)
58

share: $(share_name)
60

$(exe_name): $(objs)
62

@echo "Linking to execute ($@ : $(objs))."
63

$(CXX) -o $@ $(objs) $(SHARE_PATH) $(SHARE_LIB) $(STATIC_LIB)
64

@cp $(exe_name) $(OUT_PATH)
65

$(static_name): $(objs)
67

@echo "Archive to static library ($@ [$(objs)])."
68

$(AR) $(arflags) $@ $(objs)
69

@cp $(static_name) $(OUT_PATH)
70

$(share_name): $(objs)
72

@echo "Linking to shared library ($@ [$(objs)])."
73

$(CXX) $(cxxflags) -o $@ $(objs) -fPIC -shared
74

@cp $(share_name) $(OUT_PATH)
75

$(tmp_path)/%.o: $(SRC_PATH)/%.cpp $(tmp_path)/%.d
77

@echo "Compile $@ ($<)."
78

$(CXX) $(cxxflags) $(inc_path) -c $< -o $@
79

$(tmp_path)/%.d: $(SRC_PATH)/%.cpp
81

@echo "Compile $@ ($<)."
82

$(CXX) $(cxxflags) -MM $< -o $@.$$$$; \
83

sed 's,$$*$\.o[ :]*,\1.o $@:, g' < $@.$$$$ > $@; \
84

rm -f $@.$$$$
85

-include $(deps)
87

clean:
89

$(RM) $(objs) $(deps) $(share_name) $(static_name) $(exe_name)

应用
这里假设有两个源码子目录netcomm和server，前者为动态库netcomm工程，后者为主程序server工程，它依赖netcomm库，每个目录下都有其自己的Makefile，这个用于编译单个模块或主程序，它们的父目录为src，在这个目录下有两个Makefile文件，一个是Makefile.in，这个就是上面讲到的通用内部Makefile；另一个是Makefile，这个用来联编所有的模块和主程序。
先来看下netcomm的Makefile文件内容，如下所示

path := SRC_PATH=. OUT_PATH=../../output
2

.PHONY: all debug release clean
4

all: debug release
6

debug:
8

$(MAKE) -f ../Makefile.in lib MODE=debug OUT_NAME=netcommd $(path)
9

release:
11

$(MAKE) -f ../Makefile.in lib MODE=release OUT_NAME=netcomm $(path)
12

clean:
14

$(MAKE) -f ../Makefile.in clean MODE=debug OUT_NAME=netcommd $(path)
15

$(MAKE) -f ../Makefile.in clean MODE=release OUT_NAME=netcomm $(path)

再看下server的Makefile文件内容，如下所示

macros := MACROS="_USE_MEM_POOL=1"
2

path := SRC_PATH=. OUT_PATH=../../output SHARE_PATH=../../output
4

.PHONY: all debug release clean
6

all: debug release
8

debug:
10

$(MAKE) -f ../Makefile.in exe MODE=debug OUT_NAME=serverd SHARE_LIB="netcommd" $(macros) $(path)
11

release:
13

$(MAKE) -f ../Makefile.in exe MODE=release OUT_NAME=server SHARE_LIB="netcomm" $(macros) $(path)
14

clean:
16

$(MAKE) -f ../Makefile.in clean MODE=debug OUT_NAME=serverd $(path)
17

$(MAKE) -f ../Makefile.in clean MODE=release OUT_NAME=server $(path)

最后看下src的Makefile文件内容，如下所示

.PHONY: all release debug clean
2

all: debug release
4

debug:
6

$(MAKE) debug -C netcomm
7

$(MAKE) debug -C server
8

release:
10

$(MAKE) release -C netcomm
11

$(MAKE) release -C server
12

clean:
14

$(MAKE) clean -C netcomm
15

$(MAKE) clean -C server

以上所有脚本代码，在make 3.81下测试通过。

posted @ 2012-08-16 19:29 春秋十二月阅读(3523) | 评论 (3) | 编辑收藏

一种简单的跨平台信号量

摘要: 信号量是一种用于并发环境同步手段的原语，分为无名信号量和有名信号量两种，前者只能用于线程间同步，而后者还可用于进程间同步。它包括创建、等待、挂出、取值和销毁5种基本操作。与互斥锁不同的是： ● 信号量拥有一个计数值，表示可用的资源数量，仅当该值为0或1时，则相当于互斥锁。 &... 阅读全文

posted @ 2012-07-20 10:52 春秋十二月阅读(2191) | 评论 (0) | 编辑收藏

一种简单的跨平台互斥锁

摘要: 互斥锁，用来保证任一时刻只有单个线程或进程拥有对共享资源的互斥访问权，在这里将posix thread中的互斥体、win32中的互斥体和临界区，统称为互斥锁，其特点如下： ● 范围：线程锁和进程锁，前者仅用于同一进程内多线程间，而后者用于进程间，显然，它也能用于同一进程内多线程间，但效率较低。posix的互斥体既可以是线程锁，... 阅读全文

posted @ 2012-06-23 00:08 春秋十二月阅读(3586) | 评论 (2) | 编辑收藏

一种简单的跨平台套接字管道

摘要: socket pair，也称套接字管道，主要用来实现进程内或进程间的一对一的全双工或半双工通信，在IO复用模型（如select,poll,epoll等）中起到通知中断退出循环的作用，在类UNIX系统中已经有现成的实现，API为socketpair，但在Windows系统中没有，因此本文主要讲述Windows平台下soketpair的实现及应用，支持IPv4和I... 阅读全文

posted @ 2012-06-17 03:02 春秋十二月阅读(3070) | 评论 (3) | 编辑收藏

一种简单的跨平台用户态自旋锁

自旋锁作为一种并发同步的手段，特别适用于竞争少和锁时间短的情况，在驱动及内核代码中经常被用到，本文讲述一种适合用户态程序的自旋锁，支持Windows和Linux（GCC>=4.1.2）平台，并提供了C语言的接口和实现。

接口
spin_trylock如果获取成功返回1，否则返回0；spin_is_lock如果已加锁，返回1，否则返回0。

typedef struct
2

{
3

volatile long flag_;
4

volatile long* spin_;
5

}spin_lock_t;
6

void spin_init(spin_lock_t* lock,long* flag);
8

void spin_lock(spin_lock_t* lock);
10

int spin_trylock(spin_lock_t* lock);
12

void spin_unlock(spin_lock_t* lock);
14

int spin_is_lock(spin_lock_t* lock);

实现

#ifdef _MSC_VER
2

#include <windows.h>
3

#elif defined(__GNUC__)
4

#if __GNUC__<4 || (__GNUC__==4 && __GNUC_MINOR__<1)
5

#error GCC version must be greater or equal than 4.1.2
6

#endif
7

#include <sched.h>
8

#else
9

#error Currently only windows and linux os are supported
10

#endif
11

void spin_init(spin_lock_t* lock,long* flag)
13

{
14

#ifdef _MSC_VER
15

InterlockedExchange((volatile long*)&lock->flag_,0);
16

InterlockedExchange((volatile long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
17

#elif defined(__GNUC__)
18

__sync_and_and_fetch((long*)&lock->flag_,0);
19

__sync_lock_test_and_set((long*)&lock->spin_,flag?(long)flag:(long)&lock->flag_);
20

#endif
21

}
22

void spin_lock(spin_lock_t* lock)
24

{
25

#ifdef _MSC_VER
26

for (;0!=InterlockedExchange((volatile long*)lock->spin_,1);)
27

{
28

Sleep(1);
29

}
30

#elif defined(__GNUC__)
31

for (;0!=__sync_fetch_and_or(lock->spin_,1);)
32

{
33

sched_yield();
34

}
35

#endif
36

}
37

int spin_trylock(spin_lock_t* lock)
39

{
40

#ifdef _MSC_VER
41

return !InterlockedExchange((volatile long*)lock->spin_,1);
42

#elif defined(__GNUC__)
43

return !__sync_fetch_and_or(lock->spin_,1);
44

#endif
45

}
46

void spin_unlock(spin_lock_t* lock)
48

{
49

#ifdef _MSC_VER
50

InterlockedExchange((volatile long*)lock->spin_,0);
51

#elif defined(__GNUC__)
52

__sync_and_and_fetch(lock->spin_,0);
53

#endif
54

}
55

int spin_is_lock(spin_lock_t* lock)
57

{
58

#ifdef _MSC_VER
59

return InterlockedExchangeAdd((volatile long*)lock->spin_,0);
60

#elif defined(__GNUC__)
61

return __sync_add_and_fetch(lock->spin_,0);
62

#endif
63

}

posted @ 2012-06-13 21:02 春秋十二月阅读(3065) | 评论 (3) | 编辑收藏

GCC原子操作类模板

摘要: 主类模板 gcc从4.1.2版本开始提供了__sync_*系列的内置API，用于加减和逻辑运算，可以对1，2，4，8字节长度的数值或指针类型进行原子操作，为方便使用，笔者对这些API作了简单的封装。 Code highlighting produced by Actipro CodeHighlighter (freeware) http://... 阅读全文

posted @ 2012-06-08 00:19 春秋十二月阅读(4578) | 评论 (1) | 编辑收藏

模板元编程（3）：类型选择

摘要: 类型选择是一种编译时的类型计算技术，也就是根据条件判断来匹配对应的类型，功能形如运行时的if else和switch case控制结构。在这里仿真运行时的条件语句，实现了类型选择，包括if单分支、if多分支和switch case三种结构，关于其原理及细节就不多讲了，直接看如下代码（1）if单分支 Code ... 阅读全文

posted @ 2012-06-06 13:49 春秋十二月阅读(2076) | 评论 (1) | 编辑收藏

仅列出标题

常用链接

留言簿(75)

随笔分类(160)

随笔档案(161)

文章分类(30)

关注的开源项目

最新随笔

积分与排名

最新评论

阅读排行榜

评论排行榜