2012年4月13日

一、简介

ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法,有如XML,不过它更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。

二、特点

ProtocolBuffer拥有多项比XML更高级的串行化结构数据的特性,ProtocolBuffer

·   更简单

·   3-10

·   20-100

·   更少的歧义

·   可以方便的生成数据存取类

例如,让我们看看如何在XML中建模Personnameemail字段:

<person>
    <name>John Doe</name>
    <email>jdoe@example.com</email>
</person>

对应的ProtocolBuffer报文则如下:

#ProtocolBuffer的文本表示
#
这不是正常时使用的二进制数据
person {
    name: "John Doe"
    email: "jdoe@example.com"
}

三、开发步骤

1、下载包( http://code.google.com/p/protobuf/downloads/ ),包含了JavaPythonC++ProtocolBuffer编译器,用于生成你需要的IO类。构建和安装你的编译器,跟随README的指令就可以做到。

一旦你安装好了,就可以跟着编程指导( http://code.google.com/apis/protocolbuffers/docs/tutorials.html )来选择语言-随后就是使用ProtocolBuffer创建一个简单的应用了。

2、创建. proto文件,文件中定义你需要做串行化的数据结构信息,下面定义个Order. Proto

package xquant;
option java_package = "com.xquant";
option java_outer_classname = "Order";
 
message Order {
  required int32 action = 1;
  required string serialNo = 2;        
  required string version = 3;
  optional string operator = 4;
  required string code = 5;
  required string name = 6;
  required string price = 7;
  required string amount = 8;
}

 

 

3、使用googleprotoc.exe生成对应的C++文件,在CMD命令框中输入如下命令(路径根据实际情况修改):

F:\projects\c++\protobuf-2.4.1\examples>protoc --cpp_out=F:\projects\c++\protobu

f-2.4.1\examples order.proto

生成文件:

order.pb.h

order.pb.cc

4、新建C++工程Demo,把order.pb.horder.pb.cc加入工程中,添加lib

#   pragma comment(lib, "libprotobuf.lib")

代码如下:

 

#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <string>
#include "order.pb.h"
using namespace std;
 
void initOrder(xquant::Order* order) {
  order->set_action(100);
  order->set_serialno("100abc");       
  order->set_version("1.00.003");
  string code = "TF0001";
  order->set_code(code);
  string name = "test";
  order->set_name(name);
  order->set_price("10.01");
  order->set_amount("10000000.00");
}
 
int _tmain(int argc, _TCHAR* argv[])
{
         GOOGLE_PROTOBUF_VERIFY_VERSION;
 
         // 组装报文
         xquant::Order order;
         initOrder(&order);
 
         // 对象序列化为string
         string order_str;
         order.SerializeToString(&order_str);
         cout << order_str << endl;
         // 显示调式报文
         string order_debug = order.DebugString();
         cout << order_debug << endl;
 
         // string反序列化为对象
         xquant::Order order_2;
         order_2.ParseFromString(order_str);
         cout << order_2.code() << endl;
         cout << order_2.name() << endl;
 
         google::protobuf::ShutdownProtobufLibrary();
 
         getchar();
 
         return 0;
}

 

 

posted @ 2012-04-13 11:25 chugf 阅读(7813) | 评论 (2)编辑 收藏


2011年7月5日

Java与C++通讯还有编码转码的问题存在,假设通讯编码采用UTF-8

C++客户端发送时需要转码成UTF-8编码,接收服务端应答消息后再转回Unicode或者GBK编码

下面给出完成的C++客户端通讯示例:

void Transcoding(LPCTSTR src, UINT srcCode, string& dest, UINT destCode)   
{   
    
int len = MultiByteToWideChar(srcCode, 0, src, -1, NULL, 0);     
    WCHAR
* srcTemp = new WCHAR[len];     
    MultiByteToWideChar(srcCode, 
0, src, -1, srcTemp, len);     
    len 
= WideCharToMultiByte(destCode, 0, srcTemp, -1, NULL, 0, NULL, NULL);     
    
char* destTemp = new char[len];     
    WideCharToMultiByte(destCode, 
0, srcTemp, -1, destTemp, len, NULL, NULL);     
  
    dest 
= destTemp;   
  
    delete []srcTemp;     
    delete []destTemp;     
}  
  
int _tmain(int argc, _TCHAR* argv[])  
{  
    
// client connect  
    CXSocket client;  
    client.initWinSocket();  
    client.setAddress(
"127.0.0.1");  
    client.setPort(
1234);  
    client.setProtoType(TCP);  
    
int ret = client.connect();  
    
if(ret < 0)  
    {  
        getchar();  
        
return 0;  
    }  
  
    
// 加通讯协议头demo  
    
// client send  
    char send[] = {"CXSocket 第一个测试用例."};  
  
    
string utf8;  
    Transcoding(send, CP_ACP, utf8, CP_UTF8);  
  
    XNET::TPacketHeader sendHeader;  
    sendHeader.m_HeaderSig 
= 0xABCD;  
    swap_2(sendHeader.m_HeaderSig);  
    sendHeader.m_Length 
= (int)utf8.length();  
    swap_4(sendHeader.m_Length);  
  
    
char buffer[1024= {0};  
    memcpy(buffer, 
&sendHeader, XNET::TCP_HEADLEN);  
    memcpy(
&buffer[XNET::TCP_HEADLEN], utf8.c_str(), utf8.length());  
    client.sendBuf(buffer, (
int)(XNET::TCP_HEADLEN + utf8.length()));  
  
    
// client recv  
    XNET::TPacketHeader recvHeader;  
    client.receiveBuf(
&recvHeader, XNET::TCP_HEADLEN);  
    swap_2(recvHeader.m_HeaderSig);  
    swap_4(recvHeader.m_Length);  
    
char* recv = new char[recvHeader.m_Length + 1];  
    memset(recv, 
0, recvHeader.m_Length + 1);  
    client.receiveBuf(recv, recvHeader.m_Length);  
    
string ansi;  
    Transcoding(recv, CP_UTF8, ansi, CP_ACP);  
  
    client.close();  
    client.uninitWinSocket();  
  
    getchar();  
  
    
return 0;  
}  

CXSocket类下载地址:http://code.google.com/p/x-net/

MINA服务端Demo下载地址:http://download.csdn.net/source/3418326

posted @ 2011-07-05 15:31 chugf 阅读(2986) | 评论 (5)编辑 收藏

最近学习了Apache MINA通讯,在使用过程中碰到了一些问题,记录下一些心得。

在服务端和客户端都使用MINA提供的库时,通讯一切正常,当我把客户端改为C++代码时,发现客户端发送给服务端的二进制流中的整形数据,位置被倒置了。

C++客户端16进制  :0x00000013

MINA服务端16进制:0x13000000

查询了网上资料后才知道Java在所有平台上都默认是big-endian,而C++在不同的平台上有不同的字节序, X86上是little-endian, solaris上是big-endian。

注意问题:

1、字节序

C++在不同的平台上有不同的字节序, X86上是little-endian, solaris上是big-endian; 而java在所有平台上都默认是big-endian, 所以在传输诸如short,int,long数据时要在C++转换成网络序(big-endian)
2、字符编码

C++上最普遍的是采用mbcs, 而java上是用unicode(并且和标准的unicode还有些区别,可以参考java文档), 所以除非必须否则不要传字符串, 可以传文本文件代替, 一定要传的话只能自己转换了
3、 内存对齐, 在C/C++的网络通信程序中经常采用读写结构体的方式方便地交换数据, 但是不注意的话结构体内很可能有空隙, 比如struct A{ int a; char c }; struct B{ char a; int b }; 这两个结构体内都有空隙, 而如果不说明空隙的存在java程序是不会知道的, 就会导致双方解析时出错. 要消除空隙应该小心地安排结构体的成员, 不推荐使用#pragma pach(1), 因为没有通用性
4、 位域

除非小心安排, 否则位域导致的结构体大小与平台相关, int a:4所占用的字节随平台和编译器变化(char a:4相对稳定占1字节)
5、 (可能平台相关)传送与接收速度不同
当C++向java传送一个大一些的数据时, 可能C++一边已经传完退出了, 而java那边还没收完, 导致最后的一部分数据丢失. 所以项目中采用了简单的确认机制, 任何一方接收完数据就回送1字节的确认, 以防止C++过早退出

6、(可能平台相关)java在同C++建立连接后以及在C++向java传送完一段数据后, java若向C++传送一段数据则第一次传送的数据C++只能收到一个字节, 第一次过后恢复正常


C++整形转换代码如下:

void swap_4(unsigned long &x)  
{  
    x 
= (x << 24|  
    ((x 
<< 8& 0x00ff0000u|  
    ((x 
>> 8& 0x0000ff00u|  
    (x 
>> 24);  
}  
  
int _tmain(int argc, _TCHAR* argv[])  
{  
       
     unsigned 
long len = 19;  
     swap_4(len);  
}

posted @ 2011-07-05 15:27 chugf 阅读(3590) | 评论 (2)编辑 收藏


2011年7月4日

关于IOCP完成端口的介绍有很多,这里就不介绍概念了。

如果不考虑跨平台问题,在Windows下IOCP(I/O Completion Port,I/O完成端口)是性能最好的一种I/O模型。

以下是本人开发的IO完成端口服务器/客户端介绍:

名称:x-net

版本:1.0.0

特点:针对TCP网络通讯进行封装,使用widows下效率最高的IOCP通讯方式,工程包括服务端和客户端。
      可应用于即时网络通讯、跨平台网络通讯等。
功能:
      1、支持多用户并发连接通讯,理论支持10000+在线用户,实际运行5000+左右
      2、支持自定义通讯头协议,代码里实现了一个简单的组包拆包功能
      3、支持转发通讯包服务
      4、支持文件下载上传

说明:
使用了开源日志库log4cplus,网址:http://log4cplus.sourceforge.net/
简单用例见test目录:
test.vcxproj             -- VS2010工程
test_2005.vcproj   -- VS2005工程

源代码下载地址:http://code.google.com/p/x-net/

posted @ 2011-07-04 11:40 chugf 阅读(3478) | 评论 (13)编辑 收藏


2011年6月24日

个人觉得比较经典的C++ 开源项目,整理如下:

 

1 log4cplus

log4cplus 是C++ 编写的开源的日志系统, 功能非常全面。C++ 版的log4j

网址:http://log4cplus.sourceforge.net/

 

2 Glog

Google Glog 是一个C++ 语言的应用级日志记录框架,提供了 C++ 风格的流操作和各种助手宏。

SVN :http://google-glog.googlecode.com/svn/trunk

 

3 memcached

memcached 是一套分布式的快取系统,当初是Danga Interactive 为了LiveJournal 所发展的,但目前被许多软件(如MediaWiki )所使用。这是一套开放源代码软件,以BSD license 授权释出。

memcached 缺乏认证以及安全管制,这代表应该将memcached 服务器放置在防火墙后。

SVN :http://code.sixapart.com/svn/memcached

 


4 
 TinyXML

TinyXML 是目前非常流行的一款基于DOM 模型的XML 解析器,简单易用且小巧 玲珑,非常适合存储简单数据,配置文件,对象序列化等数据量不是很大的操作

网址:http://www.grinninglizard.com/tinyxml/

 

5 OpenSSL

OpenSSL 包含一个命令行工具用来完成OpenSSL 库中的所有功能,更好的是,它可能已经安装到你的系统中了。

OpenSSL 是一个强大的安全套接字层密码库,Apache 使用它加密HTTPS ,OpenSSH 使用它加密SSH ,但是,你不应该只将其作为一个库来使用,它还是一个多用途的、跨平台的密码工具。

网址:http://www.openssl.org/source/

 

6 xerces

Xerces是由Apache组织所推动的一项XML文档解析开源项目,它目前有多种语言版本包括JAVA、C++、PERL、COM等。

  网址http://xerces.apache.org/xerces-c/download.cgi

 

7 Boost

Boost 库是一个经过千锤百炼、可移植、提供源代码的C++ 库,作为标准库的后备,是C++ 标准化进程的发动机之一。 Boost 库由C++标准委员会库工作组成员发起,在C++ 社区中影响甚大,其成员已近2000 人。 Boost 库为我们带来了最新、最酷、最实用的技术,是不折不扣的 准 标准库。

网址:http://www.boost.org/


8、Zlib

Zlib 软件包包含 zlib 库,很多程序中的压缩或者解压缩函数都会用到这个库

网址:http://www.zlib.net/

 

posted @ 2011-06-24 13:59 chugf 阅读(2669) | 评论 (1)编辑 收藏


仅列出标题  

posts - 5, comments - 22, trackbacks - 0, articles - 0

Copyright © chugf