sunrise

每天不断学习,才能不断提升自己。

  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理 ::
  64 随笔 :: 0 文章 :: 92 评论 :: 0 Trackbacks

 

   在处理一段文本的时候,首先了解文本的汉字编码。在windows下默认的文件编码是GBK,而
linux的一般是utf-8.
想要查看文件的编码方式,使用vim打开文本,然后在命令行模式下输入:set fileencoding,回车
即可。
   Python中有两种默认的字符串:str和unicode。在Python中一定要注意区分“Unicode字符串”
和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”
事实上在Python中并没有“Unicode字符串”这样的东西,只有“unicode”对象。一个传统意义上
的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流,除非解码为unicode
对象,没有任何实际的意义。
  函数 decode( char_set )可以实现 其它编码到 Unicode 的转换,函数 encode( char_set )实
现 Unicode 到其它编码方式的转换。 
  比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d',即 "你"和“好"的 Unicode 码
分别是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd',它是  “你好
”的UTF-8编码结果。
python中使用 unicode的关键:unicode是一个类,函数unicode(str,"utf8")从utf8编码(当然也
可以是别的编码)的字符串str生成 unicode类的对象,而函数unc.encode("utf8")将unicode类的
对象unc转换为(编码为)utf8编码(当然也可以是别的编码)的字符串。于是,编写unicode相关
程序,需要做的事情是
    * 获取数据(字符串)时,用unicode(str, "utf8")生成unicode对象
    * 在程序中仅使用unicode对象,对程序中出现的字符串常量都以u"字符串"的形式书写
    * 输出时,可将unicode对象转换为任意编码输出,使用str.encode("some_encoding")
>>> unicode("你好""utf8")
u'\u4f60\u597d'
>>> x = _
>>> type(x)
>>> type("你好")
>>> x.encode("utf8")
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> x.encode("gbk")
'\xc4\xe3\xba\xc3'
>>> x.encode("gb2312")
'\xc4\xe3\xba\xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???
还有一种就是对于特殊字符的处理:
 try:
    print i.decode('unicode_escape').encode('utf8')
  except:
    print i

 

posted on 2012-03-26 20:41 SunRise_at 阅读(1638) 评论(1)  编辑 收藏 引用 所属分类: 可爱的python

评论

# re: python汉字编码 2012-03-27 17:11 C小加
Orz  回复  更多评论
  


只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理