Fork me on GitHub
随笔 - 204  文章 - 13  trackbacks - 0
<2016年9月>
28293031123
45678910
11121314151617
18192021222324
2526272829301
2345678


专注即时通讯及网游服务端编程
------------------------------------
Openresty之lua-nginx-module
------------------------------------
本博收藏大部分文章为转载,并在文章开头给出了原文出处,如有再转,敬请保留相关信息,这是大家对原创作者劳动成果的自觉尊重!!如为您带来不便,请于本博下留言,谢谢配合。

常用链接

留言簿

随笔分类

随笔档案

相册

Awesome

Blog

Book

GitHub

Link

搜索

  •  

积分与排名

  • 积分 - 49287
  • 排名 - 368

最新评论

阅读排行榜

Lua 中实现 protobuf 序列化,反序列化
https://blog.csdn.net/fanyun7654/article/details/52596000

Protobuf 官方并没有 Lua版本,然后网易的程序猿开发出了 protoc-gen-lua ,可以让我们将 Proto 文件转成 lua 脚本在 Lua中使用,下面是详细的编译、安装、使用教程。文中用到的代码、工具都有百度网盘下载。

网盘下载地址: http://pan.baidu.com/s/1bo8Ufd9  

1、首先我们需要安装Python2.7,下载地址:

[html] view plain co
默认安装到C盘


把安装目录添加到环境变量中,然后打开命令行 控制台,输入命令

[html] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. python  

如果提示 命令不存在,则说明环境变量没有设置正确,如果是如下图,说明设置成功  

ame.com.cn

2、下载并编译 Luajit 2.0.4 ,

下载后解压,找到 LuaJIT-2.0.4/src  目录,其中有一个批处理文件 msvcbuild.bat ,这是在 Windows系统的编译工具。

在开始菜单 - 所有应用中的 Visual Studio 201x 中找到 Visual Studio Tools,打开 VS201x 开发人员命令提示,切换到 LuaJIT-2.0.4/src 目录,执行命令

[html] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. msvcbuild.bat  

开始编译 Luajit 2.0.4


像下图 出现 Successfully built LuaJIT for Windows/x86  说明编译成功


本文转自http://blog.csdn.net/huutu http://www.thisisgame.com.cn

到 LuaJIT-2.0.4\src 目录中寻找  lua51.dll  lua51.lib  luajit.exe 这三个文件是否存在,如果上面编译成功,那这三个文件是一定有的。


3、下载并编译 protobuf-2.4.1 

在 protobuf-2.4.1\vsprojects 目录中打开 protobuf.sln ,如下图



在 Visual Studio 中将 下图中 红框 中的 test 项目 从项目中移除,要来没用。


删除后如下图


项目一个一个编译,不要一起编译。

首先来编译 libprotobuf 项目肯定会出错。提示如下错误


原因是Protobuf 中没有添加对应的头文件,在项目中 搜索打开 common.h ,添加对应头文件,如下图:


再次编译,就可以编译成功。


然后编译 第二个项目 libprotobuf-lite 。不会出错。


然后再编译 第三个项目 libprotoc 。肯定会出错,如下图  



双击定位错误,或者打开 command_line_interface.cc ,到913行 ,修改为如下图



再次编译,即可成功。


最后编译第四个 项目 protoc 。编译成功

然后到 protobuf-2.4.1\vsprojects\Debug 目录中找到生成的 4 个文件,如下图红框中的文件



这4个文件会在 编译 protoc-gen-lua的时候用到。


编译成功后,到 protobuf-2.4.1\Python 文件夹中执行命令

[html] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. python setup.py install  

4、下载并 编译安装 protoc-gen-lua ,   

下载解压后,打开 目录,如下图有三个文件夹


在 plugin 目录 创建 批处理文件 protoc-gen-lua.bat  , 内容如下

[csharp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. @python "%~dp0protoc-gen-lua"  

然后将 上一步 编译 protobuf-2.4.1 中生成的 protoc.exe 拷贝到  protoc-gen-lua-master 目录,如下图


然后在 protoc-gen-lua-master 目录下创建批处理文件  buildproto.bat ,内容如下

[csharp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. rem 切换到.proto协议所在的目录  
  2. cd  protobuf\luascript  
  3. rem 将当前文件夹中的所有协议文件转换为lua文件  
  4. for %%i in (*.proto) do (    
  5. echo %%i  
  6. "..\..\protoc.exe" --plugin=protoc-gen-lua="..\..\plugin\protoc-gen-lua.bat" --lua_out=. %%i  
  7.   
  8. )  
  9. echo end  
  10. pause  

这个批处理的作用是:先进入到一个文件夹,然后将该文件夹中的 proto  文件 生成 lua 文件。 我这里是进入到 protoc-gen-lua-master\protobuf\luascript 。

所以我在 protobuf 目录下新建 目录 luascript   ,在该目录进行 proto 转换 lua 。如果需要在其它目录进行,要把上面批处理的内容修改目录为自己想要的。


好,下面来测试一下。

在 protoc-gen-lua-master\example  目录下有一个测试的 proto 文件 person.proto ,把它拷贝到  luascript 文件夹。


然后 返回执行上面创建的批处理文件 buildproto.bat 。 本文转自http://blog.csdn.net/huutu http://www.thisisgame.com.cn


生成成功,到  luascript 中查看,看到生成了对应的 lua 文件 person_pb.lua 。




5、编写工程测试 生成的 protobuf lua 文件

新建一个空项目,把 protoc-gen-lua-master\protobuf\pb.c  加入到项目中。


在 main.cpp 中添加初始化 Lua 以及初始化 proto-lua 的代码

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. #ifdef _WIN32  
  2. #include<windows.h>  
  3. #endif  
  4.   
  5. extern "C"  
  6. {  
  7. #include <lua.h>    
  8. #include <lualib.h>    
  9. #include <lauxlib.h>    
  10. int luaopen_pb(lua_State *L);  
  11. }  
  12.   
  13.   
  14. int main(int argc, char* argv[])  
  15. {  
  16.   
  17.     lua_State *L = lua_open();  
  18.     luaL_openlibs(L);  
  19.     luaopen_pb(L);  
  20.     luaL_dofile(L, "main.lua");  
  21.     lua_pcall(L, 0, LUA_MULTRET, 0);  
  22.     lua_close(L);  
  23. #ifdef _WIN32  
  24.     system("pause");  
  25. #endif  
  26.     return 0;  
  27. }  


设置 头文件引用路径为  LuaJIT-2.0.4\src 目录

设置链接器附加库目录为 LuaJIT-2.0.4\src 目录

设置链接器附加依赖项为 lua5.1.4.lib 

然后编译,肯定会报错。。如下图



需要修改 pb.c 的开始部分代码如下

就是用 宏定义 来判断,在Windows 系统下不引用 endian.h 这个文件。

再次编译,肯定成功。

在上面的代码中,我们加载了一个 lua 脚本文件 main.lua 。

我们在项目目录中新建 main.lua 并添加如下代码

[cpp] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. package.path = package.path .. ';./protobuf/?.lua;./protobuf/luascript/?.lua'    
  2.   
  3. require "Person_pb"  
  4.   
  5. local msg = Person_pb.Person()  
  6. msg.id = 100  
  7. msg.name = "foo"  
  8. msg.email = "bar"  
  9.   
  10. local pb_data = msg:SerializeToString()  -- Parse Example  
  11.   
  12. print("create:", msg.id, msg.name, msg.email, pb_data)  
  13.   
  14. local msg1 = Person_pb.Person()  
  15. msg1:ParseFromString(pb_data)  
  16. print("parser:", msg1.id, msg1.name, msg1.email, pb_data)   

在 lua 代码里面,我们 测试了 对 person 的序列化 和 反序列化 。


还记得之前生成的 person_pb.lua 文件吗?在 protoc-gen-lua-master\protobuf\luascript 目录里。

我们把整个 protoc-gen-lua-master\protobuf 目录拷贝到测试项目 目录 里来。因为 main.lua 中要引用这些 lua 文件。


然后运行测试项目


序列化 和 反序列化 测试成功

测试工程下载

[html] view plain copy
 在CODE上查看代码片派生到我的代码片
  1. http://pan.baidu.com/s/1ntvlBp3  


至此, protoc-gen-lua 编译 测试使用完毕

在lua环境中使用protobuf

https://blog.csdn.net/mergerly/article/details/16350871
最近在cocos2dx的项目中,需要在LUA脚本层使用protobuf协议。官方已经推出了很多种语言的版本。但唯独LUA版本不全。于是开始研究protobuf在LUA下的实现,将完整的过程记录了下来,希望对其它人能有所帮助。

1、下载protoc-gen-lua

可以通过HG从服务器(hg clone https://code.google.com/p/protoc-gen-lua/)上下载最新的版本。

简单介绍一下里面的三个目录:

example 存放的一个示例协议,

plugin 将.proto协议转为LUA脚本需要的工具。要注意,这个工具是用PYTHON写的,所以后面我们需要安装PYTHON。

rotobuf这里存放了工程需要的文件。其中pb.c是C码文件。主要是在工程中引用,也可以编译成动态文件(.so)供LUA调用。其它LUA文件则需要引入到LUA工程中。

 

2、安装PYTHON27。推荐是这个版本。

3、下载protobuf然后编译出protoc.exe。

可以用SVN从服务器上(http://protobuf.googlecode.com/svn/trunk)下载最新的protobuf。我使用的是protobuf-2.4.1。

进入protobuf-2.4.1/vsprojects利用VS2010进行编译。生成的protoc.exe放到protobuf-2.4.1/src下。如果不放,后面无法安装python版的protobuf。

4、编译python版本的protobuf

在protobuf-2.4.1\python下运行python setup.py build,然后再执行python setup.py install。

注意:如果第3步的protoc.exe没有放,会出现错误找不到google\protobuf\compiler目录。

 

5、制作转换协议的批处理

在protoc-gen-lua/plugin目录下编写批处理:protoc-gen-lua.bat,就下面一行代码。

///////////////////////////////////////////////////////////////////////////////////////

@python "%~dp0protoc-gen-lua"

///////////////////////////////////////////////////////////////////////////////////////

但要确保你的python命令能正常运行。否则将python.exe所在的目录加到环境变量path中。

接着拷贝一份protoc.exe到protoc-gen-lua目录。第3步我们已经编译了出了protoc.exe。在协议转换中,我们需要使用他。

在protoc-gen-lua目录编写批处理:buildproto.bat 来转换协议。

  1. rem 切换到.proto协议所在的目录  
  2. cd ../luascript  
  3. rem 将当前文件夹中的所有协议文件转换为lua文件  
  4. for %%i in (*.proto) do (    
  5. echo %%i  
  6. "..\protobuf\protoc\protoc.exe" --plugin=protoc-gen-lua="..\protobuf\plugin\protoc-gen-lua.bat" --lua_out=. %%i  
  7.   
  8. )  
  9. echo end  
  10. pause  

请正确指定protoc.exe和protoc-gen-lua.bat相对协议目录的路径。

 

6、转换协议文件

protoc-gen-lua/example目录中,有一个协议文件person.proto,可以拿他做一下试验,会生成一个person_pb.lua

 

7、编译pb.c文件

protoc-gen-lua/protobuf目录中有一个pb.c文件。我们需要用他来协助lua完成protobuf的功能。

用vs2010新建一个控制台程序。将pb.c加入到工程中。在windows平台下,要对pb.c做如下修改。

1)将 #include <endian.h>修改为

#ifndef _WIN32
     #include <endian.h>
#endif

避免在windows下缺失文件报错.

2)调整struct_unpack函数前几行为

static int struct_unpack(lua_State *L)
{
    uint8_t format = luaL_checkinteger(L, 1);
    size_t len;
    const uint8_t* buffer = (uint8_t*)luaL_checklstring(L, 2, &len);
    size_t pos = luaL_checkinteger(L, 3);
    uint8_t out[8];   

    buffer += pos;

3)在主函数前面申明pb.c的入口。

extern "C" { int luaopen_pb (lua_State *L);}   // 注意防在命名空间外的全局声明

 

编写主函数如下:

[html] view plain copy
  1. #include "stdafx.h"  
  2.   
  3. extern "C"{  
  4.     #include <lua.h>  
  5.     #include <lualib.h>  
  6.     #include <lauxlib.h>  
  7.     int luaopen_pb (lua_State *L);  
  8. }  
  9. int main(int argc, char* argv[])  
  10. {  
  11.       
  12.     lua_State *L = lua_open();  
  13.     luaL_openlibs(L);  
  14.     luaopen_pb(L);  
  15.     luaL_dofile(L, "main.lua");   
  16.     lua_pcall(L, 0, LUA_MULTRET, 0);  
  17.     lua_close(L);       
  18.     return 0;   
  19. }  


工程需要lua5.1.lib的接入。这个请自行编译。

 

8、编写main.lua。

也就是测试文件,可以参考protoc-gen-lua/example中的test.lua。

[plain] view plain copy
  1. package.path = package.path .. ';./protobuf/?.lua'  
  2.   
  3. require "person_pb"  
  4. local msg = person_pb.Person()  
  5. msg.id = 100   
  6. msg.name = "foo"   
  7. msg.email = "bar"   
  8.   
  9. local pb_data = msg:SerializeToString()  -- Parse Example  
  10. print("create:", msg.id, msg.name, msg.email, pb_data)  
  11.   
  12.   
  13. local msg = person_pb.Person()   
  14. msg:ParseFromString(pb_data)   
  15. print("parser:", msg.id, msg.name, msg.email, pb_data)  


9、测试

编译并运行VS工程。运行目录应该是LUA文件所在的目录。运行结果如下:

 

 10、总结。

这里实现了,在C++中搭建lua的protobuf环境。但未实现纯粹的Lua-protobuf环境。

如果需要在LUA中实现protobuf,那需要自己将pb.c编译成dll。在linux下需要利用protoc-gen-lua/protobuf中的makefile将pb.c编译成pb.so。

然后将pb.so或pb.dll导入到lua工程中。然后在main.lua中调用pb.c中的入口,代码如下:

[plain] view plain copy
  1. local a = package.loadlib("pb.dll", "luaopen_pb");  
  2. a()  

 

理论上是这样,我还没有做详细的测试。如果有进展,再完善本贴。

 

 转自:http://blog.csdn.net/sunshine7858/article/details/9260671

-----------------------------------------------------------------------------------------------

下载地址:
http://code.google.com/p/protobuf/downloads/list

安装命令
tar -xzf protobuf-2.5.0.tar.gz 
 cd protobuf-2.5.0 
 ./configure --prefix=$INSTALL_DIR 

 make  

 make check

 make install 

然后进入python目录,

python setup.py install --prefix=$INSTALL_DIR


写proto文件
package lm;
message Person
{
        required int32  id = 1;
        required string str = 2;
        optional int32  opt = 3;
}
保存为 testp.testpb.proto

编译指令 
protoc -I=/home/workspace/testprob --python_out=/home/workspace/testprob /home/workspace/testprob/testp.testpb.proto

google
https://developers.google.com/protocol-buffers/docs/pythontutorial

报错
package directory 'google/protobuf/compiler' does not exist

解决 
https://groups.google.com/forum/?fromgroups=#!topic/protobuf/YeT5RW4qCxY
python ./setup.py build
sudo python ./setup.py install

报错
 File "/home/workspace/testprob/testp/testpb_pb2.py", line 6, in <module>
    from google.protobuf import reflection as _reflection
  File "build/bdist.linux-i686/egg/google/protobuf/reflection.py", line 68, in <module>
  File "build/bdist.linux-i686/egg/google/protobuf/internal/python_message.py"
  ImportError: cannot import name enum_type_wrapper

解决
http://code.google.com/p/protobuf/issues/detail?id=438
Log message
Fix  issue 438 : add missing 'enum_type_wrapper' to setup.py
是安装包的一个改进文件,copy下来, 重新安装

根据安装目录下的demo  自己改写了个简单的, 觉得它那个还是麻烦

write.py
import testpb_pb4
import sys

p = testpb_pb2.Person()

try:
  f = open(sys.argv[1], "rb")
  p.ParseFromString(f.read())
  f.close()
except IOError:
  print sys.argv[1] + ": File not found.  Creating a new file."


p.id = 32
p.str = "test"

f = open(sys.argv[1], "wb")
f.write(p.SerializeToString())
f.close()

print "write success"


编译指令 python write.py "test"

read.py 
import sys
import testpb_pb2

if len(sys.argv) != 2:
  print "Usage:", sys.argv[0], "ADDRESS_BOOK_FILE"
  sys.exit(-1)

p = testpb_pb2.Person()

f = open(sys.argv[1], "rb")
p.ParseFromString(f.read())
f.close()

print "p.str = ",  p.str
print "p.id=", p.id

编译指令 python read.py "test"

--------------------------------------------------------------------------------------------------------------------

LuaJIT下载:
http://luajit.org/download/LuaJIT-2.1.0-beta3.zip

.lib转换为.a之后MinGW编译引用(Windows平台)
http://www.cppblog.com/kenkao/archive/2018/06/13/215724.html

protobuf_lua及pb.dll:(建议使用mingw编译)
http://www.cppblog.com/Files/kenkao/protobuf_lua.zip

openresty环境直接在nginx.conf中设置lua的脚本引用路径及库路径:
lua_package_path 'lua/?.lua;pb/?.lua;';
lua_package_cpath '/usr/local/lib/lua/5.1/?.so;';

posted on 2018-06-06 16:57 思月行云 阅读(92) 评论(1)  编辑 收藏 引用 所属分类: Nginx\Openresty

FeedBack:
# re: Lua环境下使用Protobuf 2018-06-20 14:14 思月行云

只有注册用户登录后才能发表评论。
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理