C++博客-blueskiner-随笔分类-Linux系统相关

网上转的一篇关于boost asio网络引擎开发的文章

卡洛shll — Thu, 24 Jul 2014 00:21:00 GMT

今天找到了贵论坛，发现坛主的很多想法和本人不谋而合，本人近1年主要精力都致力于开发一个大型多人在线游戏的基本架构和相关的技术模组。而我欣喜的发现我与坛主的研究方向正好相反：我是先从服务器端开始研究入手的，目前服务器端告一段落，正准备开始客户端的研发，在寻找客户端引擎的时候碰巧找到了这里。
我看到坛主的这个板块，了解到Orz正需要一些服务器方面的资料，在此我先奉上个人的服务器端的一些成果，希望能有所帮助。
（一）自己开发的一个基于boost::asio的网络引擎
首先这个网络引擎是基于boost::asio的一个封装，网络部分功能非常底层，API只有基本的listen、connect、send、kick等（均为异步，目前只实现了TCP协议），而其他方面提供的是基于mysql的db接口和log接口，还有一个自己开发的对象池，用于使用FreeList的概念来事先分配内存，降低运行时期内存的分配时间；
另外就是开发了一个多线程下的数据结构，一个线程安全的map，这个map可以让无限个线程同时读和写（包括添加元素、删除元素、修改元素）而无需任何因为互斥锁定带来的线程等待等开销。即是说1000个线程和1个线程操作这个map的效率是相同的。
发布形式：win32（64位未测试，但是开发考虑了相关的定制，例如指针和long在64位下从4字节提高到8字节，引擎底层做了数据类型的typedef）下 dll+lib+include；linux（Redhat、CentOS5.x，gcc3.4以上，需要安装boost1.37和mysql5.0）so+include；source code，yes，of course！
网络部分的基本结构是这样的：
#1 io部分设计。一个线程池负责处理io，这个实际上就是一组boost::asio::io_service::run，每个boost::asio::io_service下有一组私有线程，负责处理异步io事件，这里，boost::asio::io_service得数量和其下私有线程的数量是可以根据配置文件自由设置的，如果你了解boost::asio，那么一定知道它推荐一个cpu对应一个boost::asio::io_service对象（或者一个boost::asio::io_service，但是每个boost::asio::io_service下的私有线程对应每个cpu），这样在多处理器（或者多核处理器）下效率可以达到最高；
#2 complete handler设计。另一个线程池负责处理封装好的complete handler，即对应io事件的用户定义的逻辑处理，例如io recv事件，对应一个用户实现邦定的（使用boost::bind和boost::function）handler来处理当接受到socket消息的时候调用对应的handler（函数、仿函数对象、成员函数等）。#1和#2中的线程池之间使用一组线程安全的队列来传递消息（传递使用直接的值拷贝，不使用动态内存，因为动态内存的申请和释放太消耗时间，即便使用内存池也一样。1k以下的值拷贝的时间损耗都远远小于对应的动态内存申请的时间；另外使用值拷贝也有线程安全的考虑）；
#3 封包的设计。head+body，head中有固定4字节的body长度信息（int32）和4字节的封包类型信息（int32），如果愿意，可以修改代码进行扩展（packet部分是独立于引擎的模块，也是一组dll,lib,include或者so,include），接受和发送由于是tcp，所以按照head中的body长度来控制一个封包的完整性。
#4 多线程模型。boss-worker模型，主要用于广播消息、查找、和db、log的实现上；生产者、消费者模型，主要用于#1和#2 的两个线程池之间的事件传递（io线程池产生completehandler，用户的线程池负责处理、消费）
#5 session的设计。一个session就是一个成功连接进来的客户端socket代理，出于线程安全和效率的考虑，session的存储容器不使用任何stl和boost的容器，而是使用——C的数组（当然不是静态数组，而是：new char[n]这样的），来实现。而且是二维数组，这样配合对象池（指与先分配好一组“空”的session），我们无需任何互斥变量就能够毫无阻碍的访问和修改数组中的每个元素（session），并发性能达到最大。至于二维数组的设计，第二维的值对应io线程池和用户线程池中的线程数量，即一个线程唯一邦定一组session，这是为了分配session id时候效率和安全的考虑。（例如id 0~9对应一组session，10~19是第二组，而每组id和session都唯一绑定一个线程）
#6 线程之间数据传递的设计。线程安全的queue，使用了boost::thread::locks中的mutex、shared_mutex、condition_variable_any等概念，当queue空闲时，使用条件变量等待特定的事件（例如新的元素push进来，或者程序退出等）；
#7 异步下session的唯一性。由于整体是异步的，所以不可避免的会出现当一个session的某个处理还未结束的时候，这个session已经消失了，甚至换了一个新的session（指id的分配），那么这个时候如果没有任何防范处理，之前的那个未完成的处理很可能会作用到这个新的session上，就不可避免的出现一些错误和未知情况，我们如何防范呢？使用valid_code，设计一个64位的无符号整型变量，给每个session按照事先给定的session总量（这个引擎使用预先分配内存方法，所以开始前必须手动指定session的最大数量——通过配置文件），分配一个唯一的数据段（例如1~10000000，10000001~2000000等），每次这个session发现有新连接进来的socket使用了自己，则将自己的valid_code +1，当加到最大值的时候（例如刚才举例的10000000等），自动变为最小值（例如刚才的1等）。每个session的valid_code在引擎的初始化阶段是随机生成的（在事先指定好的数据段中随机）。再加上每个session的数据段时唯一的，所以不会产生重复的valid_code，这样鉴别某个时间段内唯一的session就成了可能；
#8 agent基类的设计。这个其实就是封装了boost::thread类，即“带私有线程的类”，主要用于作为一些相对独立的工作，例如log记录、db访问处理、定期ping某个ip等，引擎中的logger和db接口都是继承自它；
#9 db接口设计。一个数据库对应一个database对象，每个database对象拥有一个自己私有的线程池，其中线程的数量可以根据配置文件自由设定（例如和mysql的连接数量等，处理query的线程数量等）
#10 一些零碎。BIG_ENDIAN问题，封包内部自动进行了处理，无须用户单独设置；跨平台以及不同编译器的预编译设置，以及不同cpu的针对处理（x86，powerpc等）
目前的不足之处：
#1 并未开发完全。udp没有实现封装，当然boost::asio完全支持。logger目前只支持printf功能，对于写file和传递到专门的log服务器方面只留下了接口；封包加密以及安全方面是一个空白，目前的版本并未添加。
#2 面向底层，并不提供高层功能，所以很多开发都需要自己进行；（对，这并不是一个“网游引擎”）
#3 性能方面并未经过大量测试，由于本人工作较忙，这些都是业余时间搞得，所以只是初步测了一下连接并发部分：使用某个不知道配置的笔记本测得3秒并发连接1500。再多的并发连接并没有尝试过。
PS 由于本人工作较忙，故只能提供源代码（只提供windows版，便于查看，linux可以直接使用源代码编译，gcc3.4以上boost1.37即可），文档方面一直没有时间整理，这篇文章都是中午抽空写的（零零散散修改到现在），所以暂时就写这么多把。
PS2 提供的源代码是vs2005sln，只包含source code、配置和工程文件。
PS3 我看到贵论坛在研究RakNet，据我的一个前同事说，他认为RakNet并不好，网络底层用的是select，而且不是异步，代码质量不高，建议我不要使用它的网络层。我感觉RakNet的一些高层功能还是可以参考的，例如安全加密、大厅分流等，至于网络底层，我建议还是用boost::asio，跨平台、性能和扩展性都很优秀，而且被C++标准委员会所支持，很被看好。
作者：Nouness

卡洛shll 2014-07-24 08:21 发表评论

Linux命令行修改IP、网关、DNS的方法

卡洛shll — Sat, 04 Aug 2012 18:06:00 GMT

Linux命令行修改IP、网关、DNS的方法

方式一：

ifconfig eth0 192.168.1.18 netmask 255.255.255.0

说明：该种方式可以使改变即时生效，重启后会恢复为原来的IP

方式二：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

说明：该方式要重启后生效，且是永久的

如果要立即更改且永久生效，就只能以上两种方式同时使用了。

以上是通过linux命令行修改IP的方法。

网卡eth0 IP修改为 102.168.0.1

ifconfig eth0 102.168.0.1 netmask 255.255.255.0

网关修改为 102.168.0.254

route add default gw 102.168.0.254

Linux命令行修改dns

echo "nameserver 202.202.202.20 ">> /etc/resolv.conf

重启网络服务

例子：由原来的DHCP改固定IP
DEVICE=eth0
HWADDR=00:0C:29:F7:EF:BF
ONBOOT=yes
TYPE=Ethernet
NETMASK=255.255.255.0
IPADDR=192.168.0.68
GATEWAY=192.168.0.1
加上红色即可

重启网卡：
/etc/init.d/network restart

ifconfig eth0 新ip
然后编辑/etc/sysconfig/network-scripts/ifcfg-eth0，修改ip

[aeolus@db1 network-scripts]$ vi ifcfg-eth0

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=219.136.241.211
NETMASK=255.255.255.128
GATEWAY=219.136.241.254

[aeolus@db1 etc]$ vi resolv.conf

nameserver 202.96.128.68
nameserver 219.136.241.206

－－－－－－－－－－－－－－－－－－－－－－－
Linux下修改网卡IP和网关

建议通过终端字符方式下来修改
一修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
BROADCAST=192.168.1.255
IPADDR=192.168.1.33
NETMASK=255.255.255.0
NETWORK=192.168.1.0
ONBOOT=yes
USERCTL=no
PEERDNS=no
TYPE=Ethernet
~

vi /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1
ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.2.34
NETMASK=255.255.255.0
USERCTL=no
PEERDNS=no
TYPE=Ethernet
NETWORK=192.168.2.0
BROADCAST=192.168.2.255
二修改网关
vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=Aaron
GATEWAY=192.168.1.1

三重新启动网络配置
/etc/init.d/network restart

-----------------------------------------------------------------------------------

修改配置文件

/etc/sysconfig/network-scripts/ 下有配置文件

比如文件：ifcfg-eth0 代表是以太网实际网卡0的配置文件

比如文件：ifcfg-eth0:1 代表是以太网实际网卡0的配置文件

域名服务器配置文件：/etc/ resolv.conf

修改ip地址
即时生效:
# ifconfig eth0 192.168.0.20 netmask 255.255.255.0
启动生效:
修改/etc/sysconfig/network-scripts/ifcfg-eth0

修改default gateway
即时生效:
# route add default gw 192.168.0.254
启动生效:
修改/etc/sysconfig/network-scripts/ifcfg-eth0

修改dns
修改/etc/resolv.conf
修改后可即时生效，启动同样有效

修改host name
即时生效:
# hostname fc2
启动生效:
修改/etc/sysconfig/network

# Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+
DEVICE=eth0 接口名称
BOOTPROTO=none                  静态配置，若该值为“dhcp”则为动态获得，另外 static也是表示静态ip地址
BROADCAST=192.168.10.255 广播地址，通过IP地址和子网掩码自动计算得到
HWADDR=00:13:D3:27:9F:80
IPADDR=192.168.10.238
IPV6INIT=yes
IPV6_AUTOCONF=yes
NETMASK=255.255.255.0
NETWORK=192.168.10.0    指定网络，通过IP地址和子网掩码自动计算得到
ONBOOT=yes    开机时自动加载
GATEWAY=192.168.10.1
TYPE=Ethernet
PEERDNS=yes
USERCTL=no

ifdown eth0               关闭网络
ifconfig eth0 down    关闭网络

ifup eth0                   开启网络
ifconfig eth0 up         开启网络

设置dns /etc/resolv.conf

nameserver 61.144.56.101
nameserver 202.96.128.166

[yeger@yeger ~]$ cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 202.96.128.86
nameserver 202.96.128.166

其他方面
service network start             //启动网络服务
service network stop              //停止网络服务
service network restart           //重启网络服务
service network status            //查看网络服务状态

ifconfig eth0 192.168.10.222 netmask 255.255.255.0 //临时修改接口IP地址（无需重启接口）

[yeger@yeger ~]$ sudo ifconfig wlan0 192.168.21.199 netmask 255.255.255.0
[yeger@yeger ~]$ ifconfig wlan0
wlan0 Link encap:Ethernet HWaddr 00:02:72:77:BB:D1
inet addr:192.168.21.199 Bcast:192.168.21.255 Mask:255.255.255.0
inet6 addr: fe80::202:72ff:fe77:bbd1/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:3246 errors:0 dropped:0 overruns:0 frame:0
TX packets:1947 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:4514869 (4.3 MiB) TX bytes:177732 (173.5 KiB)
wlan0             表示第一块无线以太网卡
Link encap        表示该网卡位于OSI物理层(Physical Layer）的名称
HWaddr             表示网卡的MAC地址（Hardware Address）
inet addr        表示该网卡在TCP/IP网络中的IP地址
Bcast              表示广播地址（Broad Address）
Mask                  表示子网掩码（Subnet Mask）
MTU                  表示最大传送单元，不同局域网 MTU值不一定相同，对以太网来说，MTU的默认设置是1500个字节
Metric              表示度量值，通常用于计算路由成本
RX                  表示接收的数据包
TX                    表示发送的数据包
collisions        表示数据包冲突的次数
txqueuelen    表示传送列队（Transfer Queue）长度
interrupt            表示该网卡的IRQ中断号
Base address     表示I/O地址

配置虚拟网卡IP地址:网卡需要拥有多个IP地址

命令格式： ifconfig 网卡名：虚拟网卡ID IP地址 netmask 子网掩码

[yeger@yeger ~]$ sudo ifconfig wlan0:1 192.168.21.188 netmask 255.255.255.0

更改网卡MAC地址

ifconfig 网卡名 hw ether MAC地址

[yeger@yeger ~]$ ifconfig wlan0 hw ether 00:11:22:33:44:55

SIOCSIFHWADDR: 不允许的操作
[yeger@yeger ~]$ sudo ifconfig wlan0 hw ether 00:11:22:33:44:55
SIOCSIFHWADDR: 设备或资源忙
[yeger@yeger ~]$ ifconfig wlan0 down
SIOCSIFFLAGS: 权限不够
[yeger@yeger ~]$ sudo ifconfig wlan0 down
[yeger@yeger ~]$ sudo ifconfig wlan0 hw ether 00:11:22:33:44:55
更改成功

[yeger@yeger ~]$ netstat -ant 查看端口信息 a 所有 n数字显示 t tcp协议 u udp协议
Active Internet connections (servers and established 已建立连接)
Proto Recv-Q Send-Q Local Address               Foreign Address             State
协议                               本地地址                        远程地址                  连接状态
类型
tcp        0      0 0.0.0.0:57798               0.0.0.0:*                   LISTEN      listen表示监听状态
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN
tcp        0      0 192.168.122.1:53            0.0.0.0:*                   LISTEN
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:631               0.0.0.0:*                   LISTEN
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN
tcp        0      0 :::111                      :::*                        LISTEN
tcp        0      0 :::22                       :::*                        LISTEN
tcp        0      0 ::1:631                     :::*                        LISTEN

[yeger@yeger ~]$ netstat -r 查看路由表
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window irtt Iface
192.168.21.0    *               255.255.255.0   U         0 0          0 wlan0
192.168.122.0   *               255.255.255.0   U         0 0          0 virbr0
default         192.168.21.1    0.0.0.0         UG        0 0          0 wlan0

[yeger@yeger ~]$ netstat -i   查看网络接口状态
Kernel Interface table
Iface       MTU Met    RX-OK RX-ERR RX-DRP RX-OVR    TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0       1500   0        0      0      0      0        0      0      0      0 BMU
lo     16436   0      230      0      0      0      230      0      0      0 LRU
virbr0     1500   0        0      0      0      0       29      0      0      0 BMRU
wlan0      1500   0    10546      0      0      0     7060      0      0      0 BMRU
wmaster0      0   0        0      0      0      0        0      0      0      0 RU
[yeger@yeger ~]$

MTU字段：表示最大传输单元，即网络接口传输数据包的最大值。
Met字段：表示度量值，越小优先级越高。
RX-OK/TX-OK：分别表示接收、发送的数据包数量。
RX-ERR/TX-ERR：表示接收、发送的错误数据包数量。
RX-DRP/TX-DRP：表示丢弃的数量。
RX-OVR/TX-OVR：表示丢失数据包数量。

[yeger@yeger ~]$ nslookup www.baidu.com 测试域名解析
Server:        202.96.128.86
Address:    202.96.128.86#53

Non-authoritative answer:
www.baidu.com    canonical name = www.a.shifen.com.
Name:    www.a.shifen.com
Address: 119.75.218.45
Name:    www.a.shifen.com
Address: 119.75.218.45

百度的IP地址是：119.75.218.45

卡洛shll 2012-08-05 02:06 发表评论

CentOS 修改IP地址, DNS, 网关

卡洛shll — Sat, 04 Aug 2012 18:05:00 GMT

一、CentOS 修改IP地址

修改对应网卡的IP地址的配置文件
# vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改以下内容

DEVICE=eth0 #描述网卡对应的设备别名，例如ifcfg-eth0的文件中它为eth0
BOOTPROTO=static #设置网卡获得ip地址的方式，可能的选项为static，dhcp或bootp，分别对应静态指定的 ip地址，通过dhcp协议获得的ip地址，通过bootp协议获得的ip地址
BROADCAST=192.168.0.255 #对应的子网广播地址
HWADDR=00:07:E9:05:E8:B4 #对应的网卡物理地址
IPADDR=12.168.1.2 #如果设置网卡获得 ip地址的方式为静态指定，此字段就指定了网卡对应的ip地址
IPV6INIT=no
IPV6_AUTOCONF=no
NETMASK=255.255.255.0 #网卡对应的网络掩码
NETWORK=192.168.1.0 #网卡对应的网络地址
ONBOOT=yes #系统启动时是否设置此网络接口，设置为yes时，系统启动时激活此设备

二、CentOS 修改网关
修改对应网卡的网关的配置文件
[root@centos]# vi /etc/sysconfig/network

修改以下内容
NETWORKING=yes(表示系统是否使用网络，一般设置为yes。如果设为no，则不能使用网络，而且很多系统服务程序将无法启动)
HOSTNAME=centos(设置本机的主机名，这里设置的主机名要和/etc/hosts中设置的主机名对应)
GATEWAY=192.168.1.1(设置本机连接的网关的IP地址。例如，网关为10.0.0.2)

三、CentOS 修改DNS

修改对应网卡的DNS的配置文件
# vi /etc/resolv.conf
修改以下内容

nameserver 8.8.8.8 #google域名服务器
nameserver 8.8.4.4 #google域名服务器

四、重新启动网络配置
# service network restart
或
# /etc/init.d/network restart

修改 IP 地址
即时生效:
# ifconfig eth0 192.168.0.2 netmask 255.255.255.0
启动生效:
修改 /etc/sysconfig/network-scripts/ifcfg-eth0

修改网关 Default Gateway
即时生效:
# route add default gw 192.168.0.1 dev eth0
启动生效:
修改 /etc/sysconfig/network

修改 DNS
修改/etc/resolv.conf
修改后可即时生效，启动同样有效

修改 host name
即时生效:
# hostname centos1
启动生效:
修改/etc/sysconfig/network

卡洛shll 2012-08-05 02:05 发表评论