C++博客-socketref,再见！高德-随笔分类-perl/python/php/lua/tcl

salesforce的oauth授权

放屁阿狗 — Mon, 29 Jun 2015 12:21:00 GMT

访问sf，记录下一下代码

（注册sf的app，登记 callback-url,执行sql查询）

#coding:utf-8
__author__ = 'scott'
import imp
imp.load_source('init','../init_script.py')
import urllib2,urllib,json,sys,os
import traceback,threading,time,struct,os,os.path,shutil,distutils.dir_util,array,base64,zlib,struct,binascii
import datetime
from libs.python.lemon import webapi
callback = 'http://localhost:8002/oauth'
client_id = '3MVG9ZL0ppGP5UrC_wQ8U02mOhowPKwjeaaLsWZ3BcYYVqiSsy1rL_D2h6qG.rGPnb_j6IcgLHPdhmvomzDFj'
client_secret = '9046731979xxxxxxx'

def accessToken(request,code,state):
    url = 'https://login.salesforce.com/services/oauth2/token'
    data = {
        'grant_type':'authorization_code',
        'code':code,
        'client_id':client_id,
        'client_secret':client_secret,
        'redirect_uri':callback
    }
    result = ''
    try:
        result = urllib2.urlopen(url,urllib.urlencode(data) )
    except:
        traceback.print_exc()
    result = result.read()
    return json.loads( result )

def oauth(request):
    cr = webapi.SuccCallReturn()
    code =  webapi.GET(request,'code','')
    state = webapi.GET(request,'state','')
    cr.result=[code,state]
    token = accessToken(request,code,state)
    cr.result.append(token)
    print token
    try:
        sqlExecute(token['access_token'],token['instance_url'])
    except:
        traceback.print_exc()
    return cr.httpResponse()

import cookielib

# -H "Authorization: OAuth token" -H "X-PrettyPrint:1" "
def sqlExecute(token,url_host):
    httpHandler = urllib2.HTTPHandler(debuglevel=1)
    httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
    opener = urllib2.build_opener(httpHandler, httpsHandler)
    urllib2.install_opener(opener)
    sf_cmd_query="%s/services/data/v20.0/query/?%s"%(url_host, urllib.urlencode({'q':'select count() from account'}))
    headers = {
        'Authorization':'OAuth %s'%token,
        'X-PrettyPrint':1
    }
    httpReq = urllib2.Request( sf_cmd_query,headers=headers )
    r = opener.open(httpReq).read()
    print r
    pass

url1 = """https://login.salesforce.com/services/oauth2/authorize?response_type=code&client_id=%s&redirect_uri=%s&state=first"""%(client_id,callback)

def launchBrowserForOAuth():
    import webbrowser
    webbrowser.open(url1)

if __name__ == '__main__':
    launchBrowserForOAuth()

放屁阿狗 2015-06-29 20:21 发表评论

python::简单数据对象到Object自动转换

放屁阿狗 — Tue, 26 May 2015 06:44:00 GMT

python内部数据容器有dict和list两种，工作中最常用的方式是定义一些数据结构（数据即代码）,例如:

1 frog={'name':'scott',
2           'age':2,
3           'parts':{
4                     'eye':'green','leg':85
5                     },
6           ''friend":['moee','wee'],
7           "hometown":'affica'
8          }

frog对象定义了小动物的某些属性，访问frog对象属性时，通过 dict,list的取值方法进行访问，例如:
print frog['name']
print frog['friend'][0]
有时觉得这种表达方式太原始了，需要改进，最好是以 '.'方式访问对象属性，例如:
print frog.name
代码来开始和结束吧， class _x

1 class _x:
2     """
3     从简单数据类型转换成python对象
4
5     p = _x({'name':'boob','body':{'color':'black'},'toys':[1,2,3,],'age':100})
6     print p['toys'][1]
7     print len(p.toys)
8     print p.body.colors
9     """
10     def __init__(self,primitive):
11         self.data = primitive
12
13     def __getattr__(self, item):
14         value = self.data.get(item,None)
15         if type(value) == dict:
16             value = _x(value)
17         return value
18
19     def __len__(self):
20         return len(self.data)
21
22     def __str__(self):
23         return str(self.data)
24
25     def __getitem__(self, item):
26         value = None
27         if type(self.data) in (list,tuple):
28             value = self.data[item]
29             if type(value) in (dict,list,tuple):
30                 value = _x(value)
31         elif type(self.data) == dict:
32             value = self.__getattr__(item)
33         return value

放屁阿狗 2015-05-26 14:44 发表评论

python::配置文件简单读取 SimpleConfig

放屁阿狗 — Tue, 02 Apr 2013 05:36:00 GMT

1 class SimpleConfig:
2     def __init__(self):
3         self.confile =''
4         self.props={}
5
6     def load(self,file):
7         try:
8             f = open(file,'r')
9             lines = f.readlines()
10             f.close()
11             self.props={}
12             for line in lines:
13                 line = line.strip()
14                 if not line or line[0]=='#':
15                     continue
16                 line = line.split('#')[0]
17                 pp = line.split('=')
18                 if len(pp)!=2:
19                     continue
20                 k,v = pp[0].strip(),pp[1].strip()
21                 self.props[k] = v
22         except:
23             traceback.print_exc()
24             self.props ={}
25         return True
26
27     def get(self,key,default=None):
28         return self.props.get(key,default)

放屁阿狗 2013-04-02 13:36 发表评论

python::代码学习

放屁阿狗 — Tue, 10 Jul 2012 02:04:00 GMT

提高水平总是靠学习他人代码来的快

看看这个代码，摘录自gameobject

1   def __init__(self, x=0., y=0.):
2         """Initialise a vector
3
4         @type x: number
5         @param x: The x value (defaults to 0.), or a container of 2 values
6         @type x: number
7         @param y: The y value (defaults to 0.)
8
9         """
10         if hasattr(x, "__getitem__"):
11             x, y = x
12             self._v = [float(x), float(y)]
13         else:
14             self._v = [float(x), float(y)]

挺好的，参数带入可以支持 a(1,2)形式，也可支持a( (1,2) )形式，非常灵活，自已以前总是想不到用hasattr来判断

放屁阿狗 2012-07-10 10:04 发表评论

python编写网络通信框架-基于线程的消息传送

放屁阿狗 — Thu, 08 Mar 2012 15:12:00 GMT

摘要: 耗时1天，根据公司应用需求，开发一种简易的基础的通信框架，简化系统其它模块在网络通信工作方面的复杂度简单测试network.py service 做服务器，network.py client做客户端，传送多个消息报文，且能响应sock连接和断开状态考虑到性能和实际项目对线程需求，故都采用单连接单线程模式，预留select多路复用接口，可见: service.selectIn()Code highl... 阅读全文

放屁阿狗 2012-03-08 23:12 发表评论

gis:ks102 设备解码

放屁阿狗 — Thu, 08 Mar 2012 07:23:00 GMT

摘要: 与ks108同一个项目，ks102为编写手持gps模块，个人、宠物使用Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--> 1 # -- coding:utf-8 -- 2... 阅读全文

放屁阿狗 2012-03-08 15:23 发表评论

gis::ks108设备接入解码

放屁阿狗 — Thu, 08 Mar 2012 07:20:00 GMT

摘要: ks108 Gps定位模块接入服务中心，解码类：Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--> 1 # -- coding:utf-8 -- 2 #解码器定... 阅读全文

放屁阿狗 2012-03-08 15:20 发表评论

Ogr::简化LineString输出到shp文件

放屁阿狗 — Thu, 01 Mar 2012 17:04:00 GMT

OGR1.6 above
python2.4 above

只需要定义fields,roads数据调用serial_shpdata_road()即可一次输出到shp文件
不适合大批量坐标一次生成shp
ogr的问题在于python代码中初始化layer之后传递到其他函数使用将会导致莫名错误，应该是个bug

1    #bin.zhang@sw2us.com
2     fields=[
3         {'name':'roadname','type':FIELD_STRING,'width':30}
4     ]
5     roads=[
6         {
7             'geom':[(121.1,31.1),(121.101,31.102),(121.101,31.2)],
8             'attrs':('xscott.test',)
9         }
10     ]
11     serial_shpdata_road('d:/temp3/aa.shp',fields,roads)
12 '''
13 def serial_shpdata_road(file,fields,roads):
14     '''
15         fields: [{name,type,width},]
16         roads - [{'geom':[(x,y),..],'wkt':'','attrs':[name,type,len,]},..]
17     '''
18     layer = None
19
20     if os.path.exists(file):
21         os.remove(file)
22
23     makePrjFile(file)
24     ds = driver.CreateDataSource(file)
25     layer = ds.CreateLayer("road",geom_type=ogr.wkbMultiLineString)
26     for f in fields:
27         fld = ogr.FieldDefn(f['name'],f['type'])
28
29         if f['type'] == FIELD_STRING :
30             w = 30
31             if f.has_key('width'):
32                 w = f['width']
33             fld.SetWidth(w)
34         layer.CreateField(fld)
35     ftrdfn = layer.GetLayerDefn()
36
37     for r in roads:
38         g = None
39         if r.has_key('wkt'):
40             g = ogr.CreateGeometryFromWkt(r['wkt'])
41         if r.has_key('geom'):
42             pts = r['geom']
43             pts = map(lambda pt: '%s %s'%(pt[0],pt[1]),pts)
44             txt = string.join(pts,',')
45             wkt = "MULTILINESTRING((%s))"%txt
46             g = ogr.CreateGeometryFromWkt(wkt)
47
48         ftr = ogr.Feature(ftrdfn)
49         ftr.SetGeometry(g)
50         for n in range(len(r['attrs'])):
51             at = r['attrs'][n]
52             ftr.SetField(n,at)
53         layer.CreateFeature(ftr)
54     layer.SyncToDisk()
55

放屁阿狗 2012-03-02 01:04 发表评论

如何Python编写COM server

放屁阿狗 — Thu, 01 Mar 2012 02:24:00 GMT

开发工作都想用python+qt来实现
手头的项目涉及不同部门的成果，还要与公司产品做无缝接入，必然要用到ctypes，qt，com之类的东西了
数据编码采用json或者xml
以com方式提供生产系统访问接口，直觉告诉我实现会有点问题，那就是python+Qt做com组件，这个组件与影像系统通信，
com组件访问显示qt的ui界面会存在问题，没有做过尝试，不知是否能行
Com方式提供服务采用独立服务器模式还是独立的组件模式(其实是个线程模型问题，独立进程的com server还是加载到应用app进程的com object)

花点时间琢磨去........

放屁阿狗 2012-03-01 10:24 发表评论

python::写ctypes的好帮手pyglet.wrap.py

放屁阿狗 — Thu, 01 Mar 2012 02:16:00 GMT

在弄地图路网接口时，北京提供的是c的实现版本，本就知道ctypes可以直接调用外部dll，之前一直用swig进行包装给python使用，好久没弄都忘了，再弄就嫌烦了，最简单就用ctypes吧
要用ctypes当然要看文档了，里面定义结构必须自己手动写，POINTER,Structure之类的，好烦！
运气来了，无意之间找到个pyglet的项目里面有个tools/wrap.py的东西，还是个式样性质的东西，并没有在他的发行代码中，但可访问他的svn可以获取到，wrap.py输入一个.h的文件便可自动生成对应的数据结构，试了一下avcodec.h，立马出来个avcodec.py,爽啊

放屁阿狗 2012-03-01 10:16 发表评论

Ogr转换shp秒到度单位

放屁阿狗 — Wed, 01 Feb 2012 18:14:00 GMT

公司的shp数据都是以秒为单位存储，要做监控和道路匹配，直接与gps接收坐标无法实现，必须转换shp单位为度单位

  1 #--coding:utf-8---
  2 #  brief:  内业shp数据，转换秒到度为单位
  3 # author: scott
  4 # date: 2012.1.30
  5 # org:  --navi.com
  6 #
  7 # version: v0.1.0 2012.2.1
  8 #  1.create doc and test ok, types (included point|line|polygon|multipolygon) be supported
  9 #
10
11 import os,os.path,sys,time,copy,shutil
12 from osgeo import ogr
13
14
15 def do_layerPoint(layer):
16     ftr = layer.ResetReading()
17     ftr = layer.GetNextFeature()
18     print 'point num:',layer.GetFeatureCount()
19     print 'extent:',layer.GetExtent()
20     cc = 1
21     while ftr:
22         #print cc
23         cc+=1
24         pt = ftr.GetGeometryRef().GetPoint(0)
25         g = ftr.GetGeometryRef()
26         #print g#,g.ExportKML()
27         if pt[0] >1000 or pt[1] > 1000:
28             g.SetPoint(0,pt[0]/3600.,pt[1]/3600.)
29             #print g
30
31             '''
32             ng = ogr.Geometry(ogr.wkbPoint)
33             print pt
34             ng.SetPoint(0,pt[0]+40,pt[1])
35             ftr.SetGeometry(ng)
36             '''
37             layer.SetFeature(ftr)
38         ftr = layer.GetNextFeature()
39
40 def do_layerLine(layer):
41     ftr = layer.ResetReading()
42     ftr = layer.GetNextFeature()
43
44     while ftr:
45         g = ftr.GetGeometryRef()
46         cnt = g.GetPointCount()
47         cc = 0
48         while cc < cnt:
49             #print g.GetPoint(cc)
50             cc+=1
51
52         for n in range(cnt):
53             pt = g.GetPoint(n)
54             if pt[0]>1000 or pt[1] > 1000:
55                 g.SetPoint(n,pt[0]/3600.,pt[1]/3600.0)
56         layer.SetFeature(ftr)
57
58         ftr = layer.GetNextFeature()
59
60 def do_layerPolygon(layer):
61     ftr = layer.ResetReading()
62     ftr = layer.GetNextFeature()
63
64     while ftr:
65         g = ftr.GetGeometryRef()
66         cnt = g.GetGeometryCount()
67         for n in range(cnt):
68             gg = g.GetGeometryRef(n)
69             for m in range(gg.GetPointCount() ):
70                 pt = gg.GetPoint(m)
71                 #print pt
72                 if pt[0]>1000 or pt[1] > 1000:
73                     gg.SetPoint(m,pt[0]/3600.,pt[1]/3600.0)
74         layer.SetFeature(ftr)
75         ftr = layer.GetNextFeature()
76
77 def do_shpfile(file):
78     #print file
79     print 'ready file:',file
80     driver = ogr.GetDriverByName('ESRI Shapefile')
81     #shp = driver.Open('e:/shp_data/points.shp',1)  # 0 - read , 1 - write
82     shp = driver.Open(file,1)  # 0 - read , 1 - write
83
84     layer = shp.GetLayer()
85
86     if layer.GetFeatureCount() == 0:
87         return
88
89     gtyp = layer.GetLayerDefn().GetGeomType()
90
91     if file.lower().find('province') == -1:
92         pass #return
93
94     if gtyp == ogr.wkbPoint:
95         do_layerPoint(layer)
96     elif gtyp == ogr.wkbLineString:
97         do_layerLine(layer)
98     elif gtyp == ogr.wkbPolygon:
99         do_layerPolygon(layer)
100     else:
101         print 'unknown type:',gtyp,'  ',file
102
103     layer.SyncToDisk()
104     shp.Destroy()
105
106
107 def convert(shpdir):
108     files = os.listdir(shpdir)
109     for file in files:
110         if  file.lower().find('.shp') ==-1:
111             continue
112
113         #if file == 'points.shp':
114         do_shpfile(shpdir+"/"+file)
115
116 if __name__=='__main__':
117     #convert( 'e:/shp_data' )
118     if sys.argv[1:]:
119         convert(sys.argv[1])
120     else:
121         convert( 'D:/temp3/mess/MESH/H51F009012')
122

放屁阿狗 2012-02-02 02:14 发表评论

python::增加fetchoneDict()

放屁阿狗 — Wed, 28 Dec 2011 17:34:00 GMT

有些dbi2的数据库实现了fetchoneDict接口，毕竟不是强制要求的，但是实际应用中非常有用

import sys,sqlite3,os
def fetchoneDict(cr):
    ff = [ r[0] for r in cr.description ]
    rr = cr.fetchone()
    if rr:
        return dict( zip(ff,rr)  )
    return {}

cnn =  sqlite3.connect('e:/tax.db3')
print dir(sqlite3)
cr = cnn.execute('select * from core_bill')

while 1:
    r = fetchoneDict(cr)
    if not r: break
    print r

放屁阿狗 2011-12-29 01:34 发表评论

人事抄税数据转换(python)

放屁阿狗 — Tue, 30 Aug 2011 03:28:00 GMT

啊关的企业在处理用友erp人事数据与税务报税时转换数据时被停滞了，一个小时内完成他的需求

  1 # -*- coding:utf-8 -*-
  2 # soctt.bin created  2011.8.29
  3 # sw2us.com @2011
  4 #
  5
  6 import sys,os,os.path,time,struct,traceback,threading,datetime,string,datetime,calendar
  7 import xlrd
  8
  9 start_year=0
10 start_month= 0
11 start_day =1
12 end_day = start_day
13
14 end_year= 0
15 end_month = 0
16
17 employee_importFile=u'111111111.XLS'
18 tax_importFile=u'题桥工资格式.xls'
19
20 employee_exportFile=u'empolyees.txt'
21 tax_exportFile=u'personTax.txt'
22 employeelistfile='employee_simplelist.txt'
23
24 fixDeduct = 2000.00 #扣除额
25
26 #人员归档
27 def employeeAchive():
28     title = u'工号~~姓名~~证件类型~~证件号~~性别~~出生日期~~国家、地区~~开票标志~~申报方式~~职务~~地址~~含税标志~~邮政编码~~调入调离~~备注'
29     #rowfmt = u"%s~~ %s~~  1       ~~%s    ~~0   ~~%s      ~~142       ~~1       ~~0       ~~    ~~    ~~1       ~~        ~~0       ~~0"
30     rowfmt = u"%s~~ %s~~  1       ~~%s    ~~0   ~~%s      ~~142       ~~1       ~~0       ~~    ~~    ~~1       ~~        ~~0       ~~0"
31     rowfmt = rowfmt.replace(' ','')
32
33     wb = xlrd.open_workbook(employee_importFile)
34     sh = wb.sheet_by_index(0)
35     file = open(employee_exportFile,'w')
36     title = title.encode('gbk')
37     file.write(title)
38     file.write('\n')
39
40     file2 = open(employeelistfile,'w') #清单表2
41     for r in range(1,sh.nrows):
42         v = sh.row_values(r)
43         v = map(string.strip,v)
44
45
46         birth = ''
47         try:
48             y,m,d = v[4].split('-')
49             birth = "%04d%02d%02d"%(int(y),int(m),int(d))
50         except:
51             print u'出生年月空缺 (%s,%s)'%(v[1],v[2])
52
53         txt = rowfmt%(v[1],v[2],v[5],birth)
54         txt = txt.encode('gbk')
55         #print len(txt)
56         file.write(txt+'\n')
57
58         txt = "%s~~%s~~%s\n"%(v[1],v[2],v[5])
59         txt = txt.encode('gbk')
60
61         file2.write(txt)
62
63     file.close()
64     file2.close()
65
66
67 def precess_parameters():
68     global start_year,start_month,end_year,end_month,start_day,end_day
69
70     cur = datetime.datetime.now()
71     start_year = cur.year
72     start_month = cur.month
73     #print len(sys.argv)
74     if len(sys.argv) == 4 and sys.argv[1]=='tax':
75         start_year = int(sys.argv[2])
76         start_month = int(sys.argv[3])
77
78     start_day = 1
79     x,end_day= calendar.monthrange(start_year,start_month)
80
81
82
83 def salaryTax():
84     global start_year,start_month,end_year,end_month,start_day,end_day
85
86     precess_parameters()
87
88     hashemployee = {}
89     file = open(employeelistfile,'r')
90     lines = file.readlines()
91     file.close()
92     for line in lines:
93         line = line.strip().split('~~')
94         k = line[0]
95         v = line[2]
96         hashemployee[k] = v
97     #以上建立员工查找表
98
99
100     title = u'证件类型~~证件号码~~税目代码~~含税标志~~所属期起~~所属期止~~天数~~收入额~~扣除额~~应缴税额~~国家地区~~减免税额~~实缴税额'
101     #rowfmt = u"1     ~~%s      ~~010000  ~~1       ~~%s      ~~%s      ~~%s  ~~%s    ~~%s    ~~%s      ~~142     ~~0       ~~%s"
102     rowfmt =  u"1     ~~%s      ~~010000  ~~1       ~~%s      ~~%s      ~~%s  ~~%s    ~~%s    ~~%s      ~~142     ~~0       ~~%s"
103     rowfmt = rowfmt.replace(' ','')
104
105     wb = xlrd.open_workbook(tax_importFile)
106     sh = wb.sheet_by_index(0)
107     file = open(tax_exportFile,'w')
108     title = title.encode('gbk')
109     file.write(title)
110     file.write('\n')
111
112     for r in range(1,sh.nrows):
113         v = sh.row_values(r)
114
115         v = map(unicode,v)
116         v = map(string.strip,v)
117         sid = '' #身份证编号
118         try:
119             sid = hashemployee[v[1]]
120         except:
121             print u'处理异常中断: 工号不能匹配! 工号: %s'%(v[1])
122             return
123             sys.exit(0)
124         start = "%04d%02d%02d"%(start_year,start_month,start_day)
125         end = "%04d%02d%02d"%(start_year,start_month,end_day)
126         txt = rowfmt%(sid,start,end, end_day-start_day+1,v[22],fixDeduct,v[24],v[24] ) #应发工资 W（v[22])
127         txt = txt.encode('gbk')
128         file.write(txt+'\n')
129     file.close()
130
131
132 if __name__=='__main__':
133     employeeAchive()
134     salaryTax()
135

放屁阿狗 2011-08-30 11:28 发表评论

cx_Oracle访问oracle 10g ，弄了半天才搞定

放屁阿狗 — Mon, 18 Jul 2011 16:54:00 GMT

真的自己没有恒心恐怕要半途而废了
cxoracle版本与oracle instantclient版本必须严格匹配（花了很多时间）

http://cx-oracle.sourceforge.net/

oracle 10g
cx_Oracle-5.1-10g.win32-py2.6.msi
instantclient-basic-win32-10.2.0.4.zip
解压instantclient-basic-win32-10.2.0.4.zip ，并将此目录设置为ORACLE_HOME
将instantclient-basic-win32-10.2.0.4目录内的dll拷贝到c:\python26\lib\site_packages
运行oracle_test.py测试是否能连接到远程oracle服务

import cx_Oracle
dsn_tns = cx_Oracle.makedsn('192.168.14.203', 1521,'ORCL') -- ORCL为远端oracle配置的listener的名称
print cx_Oracle.connect('tax','tax',dsn_tns)

放屁阿狗 2011-07-19 00:54 发表评论

gps::ks-102设备协议接入代码

放屁阿狗 — Thu, 16 Jun 2011 13:56:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--> 1 # -- coding:utf-8 -- 2 #TK102 解码器定义 ... 阅读全文

放屁阿狗 2011-06-16 21:56 发表评论

gps::ks-108设备协议接入代码

放屁阿狗 — Wed, 15 Jun 2011 08:54:00 GMT

摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--> 1 # -- coding:utf-8 -- 2 #解码器定义 3 &nbs... 阅读全文

放屁阿狗 2011-06-15 16:54 发表评论

python写xml

放屁阿狗 — Mon, 06 Jun 2011 15:23:00 GMT

import xml.dom.minidom
from xml.dom.DOMImplementation import implementation
import xml.sax.writer
import xml.utils

# Create a new document with no namespace uri, qualified name,
# or document type
document = implementation.createDocument(None,None,None)
personnel = document.createElement("personnel")
personnel.setAttribute('number', '5')
document.appendChild(personnel)
sexnode = document.createElement("sex")
sexnode.appendChild(document.createTextNode("male"))

namenode = document.createElement("name")
namenode.appendChild(document.createTextNode("tianbin"))

personnel.appendChild(sexnode)
personnel.appendChild(namenode)

out = open("tianbin.xml", "w")
xml.dom.ext.PrettyPrint(document,out)

放屁阿狗 2011-06-06 23:23 发表评论

python字符转换，老忘

放屁阿狗 — Sat, 28 May 2011 08:38:00 GMT

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串转换成gb2312编码。

放屁阿狗 2011-05-28 16:38 发表评论

交易系统备份方案

放屁阿狗 — Tue, 25 Jan 2011 08:20:00 GMT

公司的交易系统bs架构，通过http方式访问备份数据库。开发公司不肯合作的态度，所以每一次必须人工的去登陆网站是手动备份。
每天安排6次备份，这种对于一个程序开发者来讲的话真是一种痛苦和侮辱。

今天空下来就用python开始编写自动备份方案：
1.http自动登录
2.wget断点下载
3.7zip压缩
4.网盘 everbox的同步到服务器

与http server的交互信息用wireshark抓包分析，还蛮灵光的

python代码：

1 # -*- coding:utf-8 -*-
2 #auto backup system database
3 #自动登录，http下载，压缩之后通过网盘同步到服务器
4
5 import httplib, urllib,sys,os,re,datetime,time,os.path,gzip
6
7 host="192.168.1.106"
8 sys_user='anyuser'
9 sys_pass='anypass'
10
11 html = '''

Object Moved

This object may be found 12 ok!&dizhi=../data_backup/zhk0432011-1-26.7055475.mdb">here.
13 '''
14
15
16 tasklet=[]
17 backupTimes= 6# in day 每天备份次数
18
19
20
21 def backup(outputfile):
22     params = urllib.urlencode({'login_name':sys_user, 'login_pass': sys_pass, 'submit.x': 9,'submit.y':9})
23     conn = httplib.HTTPConnection(host)
24     headers = {"Content-type": "application/x-www-form-urlencoded",
25                 "Accept": "text/plain"}
26     conn.request("POST","/asp/huiyuan/login_check_gl.asp",params,headers)
27     resp = conn.getresponse()
28     #print resp.status,resp.reason
29     #print resp.getheaders()
30     cookie = resp.getheader('set-cookie')
31     #print resp.read()
32     conn.close()
33
34     #print 'retry GET /'
35     conn = httplib.HTTPConnection(host)
36     headers = {"Content-type": "application/x-www-form-urlencoded",
37                 "Accept": "text/plain",'Cookie':cookie}
38
39     conn.request("GET","/asp/admin/login_check001.asp",'',headers)
40     resp = conn.getresponse()
41
42     #sys.exit(0)
43     conn = httplib.HTTPConnection(host)
44     headers = {"Content-type": "application/x-www-form-urlencoded",
45                 "Accept": "text/plain",'Cookie':cookie}
46
47     conn.request("GET","/asp/admin/backup.asp",'',headers)
48     resp = conn.getresponse()
49     #print resp.status,resp.reason
50     html=  resp.read()
51
52     m = re.search(".*?/data_backup/(.*?\.mdb).*",html)
53     backupfile = ''
54     if len(m.groups()):
55         backupfile = m.groups()[0]
56         print backupfile
57     else:
58         print 'backup access failed!'
59         return False
60 # -o wget.log
61     downloadurl= "http://%s/asp/data_backup/%s  -O %s "%(host,backupfile,outputfile)
62     #print 'try get %s '%downloadurl
63     cmd = "wget -c -t 0 %s"%downloadurl
64     print cmd
65     os.system(cmd)
66     return True
67
68 firsttime = datetime.datetime.now()
69 if not os.path.exists('./backup'):
70     os.mkdir('backup')
71
72 if not os.path.exists('./sync'):
73     os.mkdir('sync')
74
75 while True:
76     now = datetime.datetime.now()
77     #filename = "backup/%s_%s-%s_%s_%s_%s.bak"%(now.year,now.month,now.day,now.hour,now.minute,now.second)
78     sync_hour= int(now.hour/int(24/backupTimes)) * int(24/backupTimes)
79     filename = "%s_%s-%s_%s_%s_%s.bak"%(now.year,now.month,now.day,sync_hour,0,0)
80     try:
81         if not os.path.exists("backup/"+filename):
82             backup("backup/"+filename)
83             cmd = "7zip\\7z.exe a -t7z  sync\\%s.7z backup\\%s"%(filename,filename)
84             print cmd
85             os.system(cmd)
86     except:
87         pass
88     time.sleep(10) #
89
90
91
92

放屁阿狗 2011-01-25 16:20 发表评论

python @staticmethod @classmethod

放屁阿狗 — Wed, 08 Dec 2010 05:42:00 GMT

1.static方法可以不要参数，和C／C＋＋，java里面的静态函数相似
2.普通对象函数至少需要一个self参数，该参数命名可以是‘self’，也可以是其他。代表类实例对象
3.class方法至少需要一个cls参数，该参数命名可以是‘cls’，也可以是其他。代表类对象

放屁阿狗 2010-12-08 13:42 发表评论

http Server 简单测试，返回图像数据

放屁阿狗 — Fri, 19 Nov 2010 01:57:00 GMT

1 #################################
2 # swMap Test
3 # scott
4 # 2010.11.19
5 # wallizard.vicp.net sw2us.com
6 #################################
7 #simplest http server
8 # expose image
9 #
10
11 import BaseHTTPServer,SocketServer,SimpleHTTPServer
12 import time,sys,os,os.path
13
14
15 class MyThreadServer(SocketServer.ThreadingMixIn, BaseHTTPServer.HTTPServer): pass
16
17 '''
18 HTTP/1.1 200 OK
19 Cache-Control: private, max-age=30
20 Content-Type: text/html; charset=utf-8
21 Content-Encoding: gzip
22 Expires: Mon, 25 May 2009 03:20:33 GMT
23 Last-Modified: Mon, 25 May 2009 03:20:03 GMT
24 Vary: Accept-Encoding
25 Server: Microsoft-IIS/7.0
26 X-AspNet-Version: 2.0.50727
27 X-Powered-By: ASP.NET
28 Date: Mon, 25 May 2009 03:20:02 GMT
29 Content-Length: 12173
30 '''
31 '''
32 Pragma:no-cache
33 Cache-Control:no-cache
34 '''
35
36 class MyHander(SimpleHTTPServer.SimpleHTTPRequestHandler):
37     def __init__(self,request, client_address, server):
38         SimpleHTTPServer.SimpleHTTPRequestHandler.__init__(self,request, client_address, server)
39
40     def do_GET(self):
41         print self.headers
42
43         f= open('d:/nono.gif','rb')
44         image  = f.read()
45         f.close()
46
47         self.send_response(200)
48         self.send_header( 'Server','swMapServer')
49         now = self.date_time_string(time.time())
50         self.send_header('Date',now)
51         self.send_header('Content-Type','image/gif')
52         self.send_header('Content-Length',len(image))
53         self.end_headers()
54
55         self.wfile.write(image)
56
57 def run(server_class=MyThreadServer,handler_class=MyHander):
58     server_address = ('', 8000)
59     httpd = server_class(server_address, handler_class)
60     print 'serve on ',server_address
61     httpd.serve_forever()
62
63
64 run()

放屁阿狗 2010-11-19 09:57 发表评论

Python编写同步游戏目录

放屁阿狗 — Wed, 29 Sep 2010 16:34:00 GMT

摘要: 采用Ice编写的Rpc服务应用，endpoint部署在5173.com的游戏做单PC上,sync_server部署在游戏运维网管机器上。sync_server与endpoint是1对多的形态部署。某一款游戏做了修改或者逆向代码有了修改，通过sync_server将新增部分同步到几百台endpoint游戏主机。类能类似 EMC的 Networker 同步软件。文件校验使用md5通信接口定义sync.... 阅读全文

放屁阿狗 2010-09-30 00:34 发表评论

Python开发Http代理服务器

放屁阿狗 — Wed, 29 Sep 2010 16:16:00 GMT

摘要: 之前开发酒店广告投放系统编写的Http代理服务程序，功能实现广告插播进Html DOM结构内。一般都是DIV被插入，当然包括script都是可以从数据库中动态获得。简单修改之后当做Http代理服务器程序，在浏览器中设置Http转发程序的Ip即可，只要代理程序的机器能上网，客户机便能上网（其中涉及Page gzip的工作有点麻烦） Code highlighting produced by Act... 阅读全文

放屁阿狗 2010-09-30 00:16 发表评论

照片合并输出

放屁阿狗 — Wed, 22 Sep 2010 11:50:00 GMT

一个朋友经常碰到要将大批量的照片输出到写真机，就不停的将图片加载进photoshop，然后排版，效率够慢的，便写个脚本把这些工作简化了
config.txt配置信息

1 item_hspace=0.5
2 item_vspace=0.5
3 item_width = 20 #15cm
4 item_height = 15
5 DPI=96
6 canvas_heigth=88 #200cm
7 canvas_rotation=90
8 source = D:\共享\2010.9.20\小天鹅幼儿园小4班照片
9 outfile=final2.tiff

main.py处理代码

  1 #-*- coding:utf-8 -*-
  2 #
  3 #name: config.py
  4 #brief:
  5 #    系统配置文件
  6 #author: scott
  7 #
  8
  9
10 import os,sys,time,os.path,traceback
11 import zlib,binascii
12 import PIL,Image
13 import config
14
15 DPI=96.0
16
17 POINTS_PER_METER = DPI/2.54 * 100 #每米多少个像素
18 POINT_PER_CMETER = DPI/2.54
19
20 ITEM_HSPACE=0
21 ITEM_VSPACE=1
22 ITEM_WIDTH =0 #照片的宽度
23 ITEM_HEIGTH = 0 #照片宽度决定了高度
24 CANVAS_HEIGHT= 0 #画板高度,长度是无限制的
25 CANVAS_ROTATION = -90 #最终输出照片进行旋转输出
26
27 conf = config.SimpleConfig()
28 conf.open('config.txt')
29 DPI = conf.getPropertyValueAsFloat('DPI',96.0)
30 ITEM_HSPACE = conf.getPropertyValueAsFloat('item_hspace',0.5) * POINT_PER_CMETER
31 ITEM_VSPACE = conf.getPropertyValueAsFloat('item_vspace',0.5) * POINT_PER_CMETER
32 ITEM_WIDTH = conf.getPropertyValueAsFloat('item_width',15) * POINT_PER_CMETER
33 ITEM_HEIGHT = conf.getPropertyValueAsFloat('item_height',10) * POINT_PER_CMETER
34
35 CANVAS_HEIGHT = conf.getPropertyValueAsFloat('canvas_heigth',200) * POINT_PER_CMETER
36 CANVAS_ROTATION = conf.getPropertyValueAsFloat('canvas_rotation',-90)
37
38 ITEM_HSPACE = int(ITEM_HSPACE)
39 ITEM_VSPACE = int(ITEM_VSPACE)
40 ITEM_WIDTH = int(ITEM_WIDTH)
41 ITEM_HEIGHT = int(ITEM_HEIGHT)
42 CANVAS_HEIGHT = int( CANVAS_HEIGHT)
43
44 print conf.getPropertyValueAsFloat('canvas_rotation',-90)
45
46 rows = CANVAS_HEIGHT / (ITEM_HEIGHT+ITEM_VSPACE)
47
48 source = conf.getPropertyValue('source')
49 final = conf.getPropertyValue('outfile')
50
51 files = []
52
53 imgsize=[0,0]
54
55 for f in os.listdir(source):
56     if os.path.isdir( "%s/%s"%(source,f)):
57         continue
58     try:
59         imgfile = Image.open("%s/%s"%(source,f))
60         size = imgfile.size
61         if size[0]<size[1]:
62             imgfile = imgfile.rotate(90)
63             imgfile.save("%s/%s"%(source,f))
64     except:
65         continue
66     files.append(    "%s/%s"%(source,f))
67 #计算输出文件的大小
68 cols = len(files)/(rows)
69 cols = int(cols)
70 if  len(files)%(rows) != 0:
71     cols +=1
72
73 CANVAS_WIDTH = cols * (ITEM_VSPACE+ITEM_WIDTH)
74 imgsize = (CANVAS_WIDTH,CANVAS_HEIGHT)
75 imgcanvas = Image.new('RGB',imgsize,0xffffff)
76
77 print CANVAS_WIDTH,CANVAS_HEIGHT
78 print cols,rows
79
80 for c in range(cols):
81     x = c * (ITEM_WIDTH+ITEM_HSPACE)
82     for r in range( int(rows)):
83         y = r * (ITEM_HEIGHT+ITEM_VSPACE)
84         if len(files):
85             file = files[0]
86             files.remove(file)
87             try:
88                 print 'open file:',file
89                 imgfile = Image.open(file)
90                 print (x,y,x+ITEM_WIDTH,y+ITEM_HEIGHT)
91                 imgfile = imgfile.resize((ITEM_WIDTH,ITEM_HEIGHT))
92                 imgcanvas.paste(imgfile,(x,y,x+ITEM_WIDTH,y+ITEM_HEIGHT))
93
94                 #imgcanvas.paste(imgfile,(x,y))
95             except:
96                 print traceback.print_exc()
97                 #sys.exit()
98 if CANVAS_ROTATION:
99     print CANVAS_ROTATION
100     imgcanvas = imgcanvas.rotate(CANVAS_ROTATION)
101     pass
102
103 imgcanvas.save(final)
104
105

放屁阿狗 2010-09-22 19:50 发表评论

抓www.xunbao173.com的交易记录

放屁阿狗 — Thu, 10 Jun 2010 15:23:00 GMT

摘要: 5173.com提出抓取同行交易系统的业务信息来做数据分析而提出这么个需求给我，花了1天用python完成 Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--> 1 # -*- coding:utf-8... 阅读全文

放屁阿狗 2010-06-10 23:23 发表评论

Python::SocketServer

放屁阿狗 — Mon, 15 Feb 2010 15:42:00 GMT

缘于要做个http代理服务器的需求，开始琢磨SocketServer类，看看其有多优秀

BaseServer: 定义基础服务器接口，这些功能接口提供给子类继承。同时提供服务处理的骨架
   serve_forever() 循环调用 handle_request()
   handle_request() 调用子类的get_request() ，在tcpServer时实则进行accept()应答; 验证处理 verify_request();
             最终处理请求 process_request()，
   verify_request()   虚函数
   process_request() 虚函数，这个函数并没有直接在BaseServer的子类TcpServer中被重载，而是在TcpServer的派生类中通过另一个父类来实
现，比如 ThreadingTCPServer的基类ThreadingMixIn.process_request()实现了此功能函数
   finish_request(request, client_address) 执行一次完整的socket数据读入处理，如果是ThreadMixInTcpServer产生的request，这个方法内必须实行循环读取socket数据,直到socket关闭。(此处 request 就是 socket对象)

def finish_request(self, request, client_address):
"""Finish one request by instantiating RequestHandlerClass."""
self.RequestHandlerClass(request, client_address, self)

   在finish_request里面便将读取socket数据的任务扔给了RequestHandler去处理了，代码可以跳过去看了
##---------------------------------------------

TcpServer: tcp服务器
   __init__(self, server_address, RequestHandlerClass) 需要提供服务侦听地址和请求处理类对象
   server_bind() 绑定服务器地址
   server_activate() 激活服务器
   server_close() 关闭服务器
   fileno() 返回服务器socket的句柄fd编号
   get_request() 接收应答accept()
   close_request(request) 关闭socket,request即为socket对象

三种输出处理方式: 阻塞方式、线程处理(ThreadingMixIn)、进程处理(ForkingMixIn)

ThreadingMixIn: 线程模型
   process_request( request, client_address) 为请求的链接创建新的线程,在创建线程时直接指定线程入口和参数:

import threading
t = threading.Thread(target = self.process_request_thread,
args = (request, client_address))
if self.daemon_threads:
t.setDaemon (1)

process_request_thread() 线程处理socket入口，负责接收数据，代码实现有点绕，看看代码

def process_request_thread(self, request, client_address):
        try:
            self.finish_request(request, client_address)
            self.close_request(request)
        except:
            self.handle_error(request, client_address)
            self.close_request(request)

ThreadingMixIn其实就是线程代理，还是调用finish_request()进入处理tcp数据的循环，处理完成便close_request()。但是finish_request和close_request并未在ThreadingMinxIn内定义，在哪里呢？通过研读ThreadingTcpServer,原来通过ThreadingTcpServer这个finish_request又跑回了BaseServer.finish_request()

ThreadingTCPServer(ThreadingMixIn, TCPServer) 装配成线程池处理的tcp服务器

BaseRequestHandler: 请求处理基础对象，提供统一的行为接口实现处理socket数据。 BaseRequestHandler比较好玩，在构造函数内完成了所有的操作，见代码：

def __init__(self, request, client_address, server):
        self.request = request
        self.client_address = client_address
        self.server = server
        try:
            self.setup()
            self.handle()
            self.finish()
        finally:
            sys.exc_traceback = None    # Help garbage collection

   setup()对应的子类会进行初始化处理
   self.handle() 直接调用子类的处理函数，可以参考 BaseHTTPRequestHandler(SocketServer.StreamRequestHandler)::handle()

StreamRequestHandler(BaseRequestHandler) 流式socket处理类
   setup() 设置好socket对象和读写文件句柄 rfile/wfile

HTTPServer(SocketServer.TCPServer) http服务器

BaseHTTPRequestHandler(SocketServer.StreamRequestHandler) 流式的请求处理类
   handle() 处理入口，在基类BaseRequestHandle()的构造函数中直接调用
   handle_one_request() 如果不是处理一次则返回false。接收一次socket数据，解析parse_request(),调用对应的do_xxx事件

python 的daemon线程：
如果一个进程的主线程运行完毕而子线程还在执行的话，那么进程就不会退出，直到所有子线程结束为止，如何让主线程结束的时候其他子线程也乖乖的跟老大撤退呢？那就要把那些不听话的人设置为听话的小弟，使用线程对象的setDaemon()方法，参数为bool型。True的话就代表你要听话，我老大（主线程）扯呼，你也要跟着撤，不能拖后腿。如果是False的话就不用那么听话了，老大允许你们将在外军命有所不受的。需要注意的是setDaemon()方法必须在线程对象没有调用start()方法之前调用，否则没效果。

放屁阿狗 2010-02-15 23:42 发表评论

python连接DB2

放屁阿狗 — Thu, 03 Jul 2008 17:28:00 GMT

公司的项目中有访问DB2数据的需求，我以前也只是听说DB2有这么个咚咚，据说也是个恐龙级的数据库。以前也没有用过DB2 在c语言的接口(访问oracle我一直用oci),网上一兜，才发现DB2有JDBC的访问接口，c方面的很少。
项目的工期比较紧，同时我也不想花太多的时间研究数据库访问接口，所以在项目中许多模块都是用python编写，开发周期短，调试，跨平台也是很吸引人，所以就用python拉。在python.org一搜索，便找到了pydb2,OK! 马上下载pydb1.2，一解开压缩包，原来是原代码，只能编译拉。还好有编译脚本:), 运行setup.py install
出现以下异常:
Compiling under Visual Studio .NET v7 recieves the
following error:

_db2_module.c(1855) : error C2036: 'SQLPOINTER' :
unknown size

This can be resolved by casting to (SQLCHAR *) instead
of a (void *):

< SQLPOINTER buf = (SQLPOINTER)((SQLCHAR
*)bs->buf + (bs->bufLen * idx));

发现原来SQLCHAR类型没有找到，没问题，找到_db2_module.c:1855行修改为：
SQLPOINTER buf = (SQLPOINTER)((void *)bs->buf +
(bs->bufLen * idx));
再次 setup.py install
ok，编译成功，db2.py的模块也被拷贝得到 $PYTHONHOME/lib/site_pakages/下去了
然后安装db2 client runtime
这样就完成了pydb2的运行配置。然后就在odbc中配置一个dsn
测试以下代码：

import DB2
conn = DB2.connect(dsn='sample', uid='db2inst1', pwd='secret')
无异常表示成功连接上DB2
之后访问数据库只要遵循python DBI2.0的规范就可以拉！
生活在python世界是很快乐的事情！

*注意: python2.4的话必须用vc7.1编译pydb2的扩展模块，因为python2.4(win32)也是用vc7.1编译的

放屁阿狗 2008-07-04 01:28 发表评论

lua-快速阅读

放屁阿狗 — Mon, 12 May 2008 19:13:00 GMT

table 是个怪物，有很多facets,类似array,map,struct,整个是个混合物，用起来也比较怪异。
t={1,2,3,a="gen",b=100}
t={[0]=1;["name"]="ultra"}
t.a, t.b , t[0] , t["name"]

表操作函数:
ipairs,pairs迭代函数
table.getn(t)   len of table

================================================================
function() 可以接受任意多的参数，如果实参数过多将丢弃，过少将默认设置为nil
同样可以返回多个参数
a,b=foo()

表作为参数传递到function
function rename( arg ) os.rename(arg.old,arg.new) end
rename{old="";new=""}

匿名函数(lambda in python )
foo = function(x) return x*2 end
局部函数 local f=function(x) ... end
================================================================
for n=start,end,step do ... end
while b do   ... end
repeat do .... until

if then .. elseif then ... end;

有意思的语法表达式:
    print a or b or c   如果a=false,尝试b...

注释: --     --{ --}

字符串操作:    .. 连接

==================================================
io 函数:
loadfile('test.lua')()    execute external lua script
loadstring('print 100')()

代码测试:
=======================
c程序调用lua函数
c 程序:
void call_lua_func(){
    lua_State *s = lua_open();
    luaL_openlibs(s);
    int c = lua_gettop(s);
    luaL_dofile(s,"/nandflashpartition/test1.lua");
    lua_getglobal(s,"add");
    lua_pushnumber(s,0.25);
    lua_pushnumber(s,8);
    if( lua_pcall(s,2,1,0)){
        std::cout<< lua_tostring(s,-1)<    }
    double r;
    r = lua_tonumber(s,-1);
    lua_close(s);
}
lua程序:
function add(x,y)
    return x*y
end
--------------------------------
lua访问c程序空间变量

1.定义变量student.h
extern char * gender;
extern int class_count;

2.创建pkg文件 student.pkg
$#include "student.h"
extern char * gender;
extern int class_count;

3.产生tolua++存根框架
tolua++ -o student.pkg

4.创建lua测试代码 call_c.lua
print(gender)
print(class_count) 访问c 空间的变量

5.c测试代码
char * gender;
int class_count;
void lua_call_c(){
    int tolua_student_open (lua_State* tolua_S);
    lua_State * s = lua_open();
    luaopen_base(s);

    gender ="my gender is male!";
    class_count = 100;
    tolua_student_open(s);
    luaL_dofile(s,"/nandflashpartition/call_c.lua");
    lua_close(s);
}

6.build && test it!

放屁阿狗 2008-05-13 03:13 发表评论