Fork me on GitHub
随笔 - 215  文章 - 13  trackbacks - 0
<2016年8月>
31123456
78910111213
14151617181920
21222324252627
28293031123
45678910


专注即时通讯及网游服务端编程
------------------------------------
Openresty 官方模块
Openresty 标准模块(Opm)
Openresty 三方模块
------------------------------------
本博收藏大部分文章为转载,并在文章开头给出了原文出处,如有再转,敬请保留相关信息,这是大家对原创作者劳动成果的自觉尊重!!如为您带来不便,请于本博下留言,谢谢配合。

常用链接

留言簿(1)

随笔分类

随笔档案

相册

Awesome

Blog

Book

GitHub

Link

搜索

  •  

积分与排名

  • 积分 - 203830
  • 排名 - 127

最新评论

阅读排行榜

基于 OpenResty 的服务器架构设计

  • 本文版权归 zengrong 所有,此处为技术收藏,如有再转,敬请标明原文作者及出处,这是对原作者劳动成果的自觉尊重!!
  • 本文链接:http://zengrong.net/post/2228.htm

这个服务器架构不一定能用上,记录在这里,算是一个小小的学习成果。

1. 技术选择

  • Cocos2d-x 3.x —— 客户端框架。
  • WebSockt —— 网络协议。
  • HTTP —— 网络协议。
  • OpenResty —— 基于 nginx+lua 实现 WebSocket 或 HTTP 服务器。
  • MySQL —— 数据库支持。
  • Redis —— NoSQL 支持。

2. 逻辑服务器

有两个不同的客户端需要提供服务。data_tester 和 client 。它们都需要 WebSocket 服务, client 还需要 HTTP 服务。

dtserver 为 data_tester 提供 WebSocket 服务。

socketserver 为 client 提供 WebSocket 服务,httpserver 为 client 提供 HTTP 服务。

dtserver/socketserver/httpserver 均使用 OpenResty(with lua) 实现。

下图表述了这种关系。虚线框内代表逻辑服务器部署。

Counstruction for OpenResty

3. 开发者分离

共有 4 个开发者 dev1~dev4 ,他们需要独立的服务器环境进行开发与测试。

按照常规,开发者可以在自己的开发计算机上建立服务器环境进行开发,待测试完毕后,合并代码并部署到公用服务器上进行测试。

但 OpenResty 在 Windows 系统上编译比较麻烦,于是我采取了上图所示的部署方式:

在服务器上为每个开发者绑定一个独立的 OpenResty 端口和 master 进程,使用独立的端口号、配置文件和服务端代码(lua files),这样能够实现完全隔离。

对于 Redis,也进行类似的操作,每个开发者绑定一个独立的 Redis 配置文件和端口号。

HTTP 和 MySql 服务是共享的,不需要单独分配。因为所有开发者都共享相同的用户信息。

4. 部署工具

由于所有的代码都在远程服务器上,为了方便开发者管理服务器、更新自己的测试代码,我使用 git 库钩子和脚本来实现了一套部署工具。

4.1 serverctrl

serverctrl 是一个专用于控制服务器的 git 仓库。

下面的 OpenResty 服务器的和 redis 服务器的配置文件模版都保存在这个 git 库中。

4.2 OpenResty 服务器

下面的例子是中,使用 [server] 代表服务器名称,使用 [user] 代表开发者名称(也是 git 库的分支名称)。

4.2.1 支持的服务器

OpenResty 服务器程序部署在 /opt/hhl 文件夹中,下面几个服务器都是基于 OpenResty 的:

服务器服务器路径
socketserver/opt/hhl/socketserver/[user]
dtserver/opt/hhl/dtserver/[user]
httpserver/opt/hhl/httpserver/[user]

4.2.2 每个服务器程序的文件夹结构

每个 OpenResty 服务器程序实例,都有完全独立的一套配置,以/opt/hhl/socketserver/dev1 为例,包含这样几个子文件夹:

  • logs 存放 log 日志和 pid 文件;
  • conf 其中只有一个 nginx.conf 配置文件,供当前的 OpenResty 服务器程序实例使用;
  • src 服务器逻辑的 lua 文件。

4.2.3 配置文件模版

每个 OpenResty 服务器程序实例都使用不同的端口、 prefix 和配置文件,完全独立。

上面提到的 nginx.conf 配置文件的模版位于 serverctrl 的 git 仓库中。模版文件为: nginx.[server].templ.conf ,用于替换模版的值文件为nginx.[server].sub.py 。

下面是 nginx.socketserver.templ.conf 的内容:

worker_processes  $WORKER_PROCESSES;  error_log  logs/error.log  debug;  events {     worker_connections  1024; }  http {     lua_package_path "/opt/hhl/socketserver/$USER_NAME/src/?.lua;;";     lua_code_cache $LUA_CODE_CACHE;      server {         listen       $LISTEN;         server_name  $SERVER_NAME;          location /hhl {             content_by_lua_file  src/main.lua;         }     }  } 

下面是 nginx.socketserver.sub.py 的内容:

{     'master':{         'WORKER_PROCESSES' : 1,         'LUA_CODE_CACHE':'off',         'LISTEN':'1080',         'SERVER_NAME':'localhost',     },     'dev1':{         'LISTEN':'1081',     },     'dev2':{         'LISTEN':'1082',     },     'dev3':{         'LISTEN':'1083',     },     'dev4':{         'LISTEN':'1084',     }, } 

从上面的配置可以看出,master 是配置文件基准值,下面的属性会替换掉 master 中的同名值,然后写入配置文件。

4.3 Redis 服务器

下面的例子是中,使用 [port] 代表 redis 服务器程序使用的端口号。

redis 服务器程序部署在 /opt/redis 文件夹中,与 OpenResty 不同,Redis 没有采用分文件夹的方式,而是采用不同的配置文件来实现隔离。

配置文件名为: /opt/redis/etc/[port].conf 。

每个 Redis 服务器实例,使用不同的端口号和配置文件,完全独立。

上面提到的配置文件的模版位于 serverctrl 的 git 仓库中。模版文件为:redis.templ.conf ,用于替换模版的值文件为 redis.sub.py 。

下面是 redis.templ.py 的内容:

include /opt/redis/etc/redis.conf  daemonize yes pidfile /opt/redis/var/$PORT.pid port $PORT bind $BIND tcp-keepalive 0 loglevel notice logfile $PORT.log databases 16 dbfilename $PORT.rdb dir /opt/redis/var/ appendonly no appendfilename "$PORT.aof" syslog-enabled yes syslog-ident redis-$PORT syslog-facility local5 

下面是 redis.sub.py 的内容:

{     'master':{         'PORT': 6379,         'BIND': '127.0.0.1 192.168.18.18',     },     'dev1':{         'PORT': 6381,     },     'dev2':{         'PORT': 6382,     },     'dev3':{         'PORT': 6383,     },     'dev4':{         'PORT': 6384,     }, } 

替换规则与 OpenResty 的相同。

5. git 钩子,部署代码与重启服务

要将本地的代码部署到服务器上,只需要通过 git 钩子,在提交本地代码的同时,更新服务器上的代码即可。

同时,不是所有的开发者都有服务器的管理权限。我使用 git 钩子提供了重启服务的功能,让所有开发者都可以实现对自己的 Redis、OpenResty 进程的控制。

我在这篇文章中作了描述:使用 git post-receive 钩子部署服务端代码 。

另外,由于存在 3 个服务器程序,涉及到许多通用代码和库。我将这些代码放置在一个单独的 git 项目中,不对所有的开发者可见,但提供开发者文档。这样一来,开发者在自己的服务器程序中,只需要关注逻辑相关的代码,而不必在意底层库是如何实现的。

6. log 日志系统

由于开发者没有服务器权限,无法看到服务的出错日志。为了解决这个问题,我将所有的错误日志使用 rsyslog 来管理,同时提供了基于 web 的查看系统。这样一来,开发者们完全不必和服务器打交道了。

我在这篇文章中作了描述:rsyslog/Python/LogAnalyzer 记录和查看日志 。

我基于 OpenResty 提供的 resty.logger.socket 实现了从服务端的 lua 代码中将 log 提交到 rsyslog,这样开发者调试代码也可以使用这种方式。

详情见这两个实现:

(全文完)


posted on 2016-08-01 09:42 思月行云 阅读(641) 评论(0)  编辑 收藏 引用 所属分类: Nginx\Openresty

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理