C++博客-socketref,再见！高德-随笔分类-IM 系统

C++博客-socketref,再见！高德-随笔分类-IM 系统http://www.cppblog.com/socketref/category/20741.htmlgis,mouse,luolasizh-cnSat, 29 Mar 2014 18:44:46 GMTSat, 29 Mar 2014 18:44:46 GMT60nginx+gevent+webpy+gridfs 提供文件服务集群方案http://www.cppblog.com/socketref/archive/2014/03/29/206396.html放屁阿狗放屁阿狗 Sat, 29 Mar 2014 13:27:00 GMThttp://www.cppblog.com/socketref/archive/2014/03/29/206396.htmlhttp://www.cppblog.com/socketref/comments/206396.htmlhttp://www.cppblog.com/socketref/archive/2014/03/29/206396.html#Feedback0http://www.cppblog.com/socketref/comments/commentRss/206396.htmlhttp://www.cppblog.com/socketref/services/trackbacks/206396.html发送者传送消息到平台系统内部并将消息写入gridfs，待接收者上线时平台将消息推送至接收者。
考虑到带宽利用，接收者得到的消息将不包含二进制数据，例如: 音频，图像等等。这要求接收者对平台发起一次获取消息包内指定的音频和图像数据的请求。
移动端向平台请求二进制数据的情况还包含【离线文件传送】场景。
二进制数据往往是指那些数据量比较大的对象，这些对象在移动两端交换时，交互通道将不占用与接入服务器的连接通道，而是通过nginx传送到平台内部；同样接收者获取二进制数据也是通过nginx获取。这种请求是HTTP的。
这里整理的是如何在平台部署【负载均衡的集群的分布式的文件服务】

nginx :               http服务，提供反向代理和负载均衡服务（集群可用DNS或考虑LVS方案）
mongodb+gridfs : 用于文件服务提供，其内置gridfs提供了分布式，海量存储的方案
gevent+webpy : nginx直接读取gridfs是不合适的，配置了cgi才能完成特定功能，这里使用webpy，比django更轻更好用。
                         webpy的作用是接收到上传和下传文件的请求，读写gridfs文件内容给移动端。
                          gevent是高效的通信框架，虽然单线程工作，但性能非常的好；
                         用好gevent关键在与外部的io必须全部都是异步的，例如：数据库，文件磁盘访问等等。
                         mongodb对gevent已经支持，gevent对webpy，django，psycopg2支持也相当的好，所以要提供webservice服务那就考虑用gevent+webpy或django把，性能是杠杠的，比 apache+mod_wsgi要好很多，而且gevent是进程内的不同的HTTP REQUEST可以是共享数据的，这一点非常诱惑(apache+mod_wsgi的REQUEST可是隔离的哦！除非您通过redis的PUB/SUB实现两个REQUEST的通信)

关注的问题：
１.下传大文件时的处理
　　　如果直接用nginx当然没有这个问题　，但用webpy读取文件返回HttpResponse时问题来了，总不至于读取整个文件，然后再return。
         这种方式在php有flush方法，python只能用yield来做
2.上传大文件时的处理
当接收到http的文件POST请求时，文件已经全部缓存到web服务器，如果同时几千个文件上传在进行，服务器就会被挤爆，这也是很多网站不允许大文件上传的缘故吧。关于这个问题，我想就需要修改一下webpy关于文件上传的处理代码了，将接收到的文件数据以流的形式写入到gridfs里去作为临时文件被缓存，等完全接收文件时，才通知到handler代码，这样必定高效很多(新的问题又来了，会不会把gridfs搞爆掉! 处理时考虑延时缓存提交gridfs把)。

BUF_SIZE = 262144
class download:
    def GET(self):
        file_name = 'file_name'
        file_path = os.path.join('file_path', file_name)
        f = None
        try:
            f = open(file_path, "rb")
            webpy.header('Content-Type','application/octet-stream')
            webpy.header('Content-disposition', 'attachment; filename=%s.dat' % file_name)
            while True:
                c = f.read(BUF_SIZE)
                if c:
                    yield c
                else:
                    break
        except Exception, e:
            print e
            yield 'Error'
        finally:
            if f:
                f.close()

links:

http://api.mongodb.org/python

http://webpy.org/cookbook/storeupload.zh-cn

http://webpy.org/cookbook/streaming_large_files

http://gevent.org 下份代码 demo很值得看哦 gevent 1.0 由libev 替换了libevent

　

放屁阿狗 2014-03-29 21:27 发表评论

]]>messageserver.pyhttp://www.cppblog.com/socketref/archive/2013/12/07/204643.html放屁阿狗放屁阿狗 Fri, 06 Dec 2013 17:54:00 GMThttp://www.cppblog.com/socketref/archive/2013/12/07/204643.htmlhttp://www.cppblog.com/socketref/comments/204643.htmlhttp://www.cppblog.com/socketref/archive/2013/12/07/204643.html#Feedback0http://www.cppblog.com/socketref/comments/commentRss/204643.htmlhttp://www.cppblog.com/socketref/services/trackbacks/204643.html 1 #--coding:utf-8-- 2 3 ... 阅读全文

放屁阿狗 2013-12-07 01:54 发表评论

]]>IM的文本消息格式http://www.cppblog.com/socketref/archive/2013/11/30/204521.html放屁阿狗放屁阿狗 Fri, 29 Nov 2013 16:34:00 GMThttp://www.cppblog.com/socketref/archive/2013/11/30/204521.htmlhttp://www.cppblog.com/socketref/comments/204521.htmlhttp://www.cppblog.com/socketref/archive/2013/11/30/204521.html#Feedback0http://www.cppblog.com/socketref/comments/commentRss/204521.htmlhttp://www.cppblog.com/socketref/services/trackbacks/204521.html

多样的文本消息

-----------------

struct MimeText_t{
int type;
string text;
};

MimeText_t 可以包含普通的文本、图像和音频文件的id

图像和音频数据发送到服务器，服务器并不直接将数据发送到接收者，而是发送音频和图像的描述uri信息

接收者解释json，显示text文本，读取emoticon编号，显示表情图片; image,audio则显示占位(如果当前wifi可用,则自己自动加载image和audio资源) ,如果非wifi信号则待用户点击此占位，然后从服务器请求image和audio资源到本地。

文本描述：　字体大小，颜色，文本link，表情符号

文本用json组织，

{

set:[

text:{text:'this is',bg-color:#ff0000,color:#ffffff,font-name:'arial',font-size:20,bold:true,italic:true},

text:{text:'shanghai',color:#ff0000,font-name:'arial',font-size:20,bold:true,italic:true,link:'http://sw2us.com/images/shanghai.png'},

image:{id:1001,width:200,height:200,uri:'http://sw2us.com/images/bear.png'},

audio:{id:2001,duration:5,uri:'http://sw2us.com/clips/a001.mp3'},

location:{lon:121.221,lat,time,speed,direction,text:'立月路2001号浦星公路口'},

emoticon:{id:201}

}

属性名简化：

---------------------

-----------------------

1 - text [ 1: text , 2: bg-color , 3: color , 4: font-name, 5:font-size, 6:bold, 7:italic ]

2 - image [ 1: id , 2:width , 3:height , 4:uri]

3 - audio [ 1:id , 2:duration,3:uri]

4 - location [ 1:lon, 2:lat, 3:time, 4:speed, 5:direction, 6:text]

5 - emoticon [ 1: id ]

-----------------------

0 - false

1 - true

放屁阿狗 2013-11-30 00:34 发表评论

]]>