C++博客-小明思考-随笔分类-G11N/ICU

C++源文件编码问题

小明 — Thu, 05 Apr 2007 07:30:00 GMT

摘要: C++源文件编码问题阅读全文

小明 2007-04-05 15:30 发表评论

[Tips]如何计算utf8下的字节数

小明 — Wed, 08 Nov 2006 05:32:00 GMT

项目需要，写了一个帮助L10N的工程师计算utf8的小工具(html page)。如下

DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML>
<HEAD>
<TITLE> An utf8 count tool  TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=utf16">
<script>
    function utf16to8(str) {
        var out, i, len, c;

        out = "";
        len = str.length;
        for(i = 0; i < len; i++) {
        c = str.charCodeAt(i);
        if ((c >= 0x0001) && (c <= 0x007F)) {
            out += str.charAt(i);
        } else if (c > 0x07FF) {
            out += String.fromCharCode(0xE0 | ((c >> 12) & 0x0F));
            out += String.fromCharCode(0x80 | ((c >>  6) & 0x3F));
            out += String.fromCharCode(0x80 | ((c >>  0) & 0x3F));
        } else {
            out += String.fromCharCode(0xC0 | ((c >>  6) & 0x1F));
            out += String.fromCharCode(0x80 | ((c >>  0) & 0x3F));
        }
        }
        return out;
    }
    function count()
    {
        var temp = f1.value;
        temp=temp.replace(/\\r/g,"\r");
        temp=temp.replace(/\\n/g,"\n");
        result.innerHTML=utf16to8(temp).length;
    }
script>
HEAD>

<BODY>
<TEXTAREA id="f1" NAME="f1" ROWS="10" COLS="50">TEXTAREA>
<br/>
<INPUT TYPE="button" value="count length" onclick="count()">
<div id="result">div>
BODY>
HTML>

小明 2006-11-08 13:32 发表评论

G11N Developement (2) --- Linux Best Practice

小明 — Mon, 26 Jun 2006 08:57:00 GMT

在linux/Unix平台上面做G11N的开发，大抵都会用到gettext库/工具集( ftp://ftp.gnu.org/gnu/gettext/ ) 和libiconv(http://www.gnu.org/software/libiconv/) ,前者是用于实现Resource bundle,而后者用于各种编码转化。

(注:这里没有考虑cross-platform)

1. 实现方法

a . 使用po文件作为资源文件 (建议编码是utf-8)
一方面因为UTF-8兼容ANSI,另外一方面考虑到G11N的程序大部分使用utf-8输出，比如输出到database,web UI, file等等。

b. 使用getext从resource file ( mo文件)读到相应的L10N resource文件
注意这里需要先setlocale来设置locale

#include <stdio.h>
#include <locale.h>
#include <libintl.h>

#define _(string) gettext (string)

int main(int argc, char **argv)
{
    if (setlocale(LC_ALL, “”) == NULL) {
        fprintf(stderr, “setlocale() error.\n”);
        return -1;
}
if (bindtextdomain(package, “/usr/share/locale”) == NULL) {
    fprintf(stderr, “bindtextdomain() error.\n”);
    return –1;
}
    if (textdomain(package) == NULL) {
        fprintf(stderr, “textdomain() error.\n”);
        return –1;
}
    printf(“%s\n”, _(“Hello, world!”));
    return 0;
}

c.如果要输出到控制台(console),因为不是console都支持unicode output，所以推荐的方法是首先是把utf-8转化为本地编码，然后使用printf输出。不推荐使用wprintf进行输出，一方面是因为wchar_t的大小随编译器不同，不好控制。另外一方面，很多wprintf的实现也都是先把wchar_t[]转为本地编码，然后输出。转化编码使用libconv

d.如果要输出到web pages,database,file，编码推荐使用utf-8.

e.如果要输出本地化的日期和时间，使用API: strftime

#include <stdio.h>
#include <time.h>
int main(int argc, char **argv)
{
    time_t t;
    struct tm *ptm;
    char buffer[100];

    memset(buffer, 0, sizeof(buffer));
    if (time(&t) < 0) {
        fprintf(stderr, “time() error: %m\n”);
    }
    if ((ptm = localtime(&t)) == NULL) {
        fprintf(stderr, “localtime() error: %m\n”);
    }
    strftime(buffer, sizeof(buffer), “%x %X”, ptm);
    printf(“%s\n”, buffer);
    return 0;
}

f. 如果要输出本地化的数字和货币，使用API: strfmon

#include <stdio.h>
#include <monetary.h>

int main(int argc, char **argv)
{
    char buffer[100];
    strfmon(buffer, sizeof(buffer), “%=*i", 12345.67);
    printf(“%s\n”, buffer);
    return 0;
}

2.目录结构
/product
  /i18n
      /zh_TW
          your.mo
      /ja_JP
          your.mo

小明 2006-06-26 16:57 发表评论

深入 printf / wprintf / console下的unicode output

小明 — Wed, 21 Jun 2006 03:53:00 GMT

1. printf 只能提供ANSI/MB 的输出，不支持输出unicode stream.
例如:

wchar_t test[]=L"测试1234";
printf("%s",test);

是不会正确输出的

2.wprintf 同样不会提供unicode output,
但是他会把wchar_t的string转为locale的SB/MB字符编码，然后输出
例如：

wchar_t test[] = L"测试Test";
wprintf(L"%s",test);

会输出??1234之类的字符串，或者不输出任何结果
因为wprintf没有办法把L"测试Test"转为默认的ANSI,需要设置locale

setlocale(LC_ALL,"chs");
wchar_t test[] = L"测试Test";
wprintf(L"%s",test);

会有正确的输出
等同于printf("%ls",test);

综上: CRT I/O functions do not provide Unicode output.

3. Window console自从NT4就是一个真正的unicode console
不过输出unicode string,只有使用Windows API, WriteConsoleW
例如：

wchar_t test[] = L"测试1234";
DWORD ws;
WriteConsoleW(GetStdHandle(STD_OUTPUT_HANDLE),test,wcslen(test),&ws,NULL);

可以正确的输出而不需要设置locale,因为是真正的unicode的输出，跟codepage无关

4. 如何实现跨平台的console output
不要使用wchar_t和wprintf,因为这些都依赖于编译器.
ICU是IBM的一个成熟的跨平台支持unicode的libary,推荐使用

以下是ICU的uprintf实现

void uprintf(const UnicodeString &str) {
    char *buf = 0;
    int32_t len = str.length();
    int32_t bufLen = len + 16;
    int32_t actualLen;
    buf = new char[bufLen + 1];
    actualLen = str.extract(0, len, buf/*, bufLen*/); // Default codepage conversion
    buf[actualLen] = 0;
    printf("%s", buf);
    delete buf;
}

它也是先把Unicode string转化为本地的codepage,然后printf，虽然也不是unicode output,但是跨平台，大多数情况会工作得很好。

小明 2006-06-21 11:53 发表评论

G11N Development(1) --- Unicode Basic && wxxx function

小明 — Mon, 19 Jun 2006 11:45:00 GMT

摘要: Globalization development 阅读全文

小明 2006-06-19 19:45 发表评论