金庆的专栏

  C++博客 :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理 ::
  418 随笔 :: 0 文章 :: 454 评论 :: 0 Trackbacks
Firefox的HTTP内容解压代码阅读

(转载请注明来源于金庆的专栏)

参考firefox-2.0.0.4-source

RFC2612 3.5节Content codings, 内容编码定义了三种内容压缩方式:
gzip, compress, deflate, 但也可以注册新的压缩方式。

找到FireFox中的Http解压代码

Find 'deflate' in 'D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h' :
D:\mozilla\netwerk\streamconv\converters\nsHTTPCompressConv.h(58): #define  HTTP_DEFLATE_TYPE       "deflate"

nsHttpCompressConv.h
#define HTTP_DEFLATE_TYPE       "deflate"
#define HTTP_GZIP_TYPE          "gzip"
#define HTTP_X_GZIP_TYPE        "x-gzip"
#define HTTP_COMPRESS_TYPE      "compress"
#define HTTP_X_COMPRESS_TYPE    "x-compress"
#define HTTP_IDENTITY_TYPE      "identity"
#define HTTP_UNCOMPRESSED_TYPE  "uncompressed"

typedef 
enum    {
        HTTP_COMPRESS_GZIP,
        HTTP_COMPRESS_DEFLATE,
        HTTP_COMPRESS_COMPRESS,
        HTTP_COMPRESS_IDENTITY
    }   CompressMode;


定位到类与方法

class nsHTTPCompressConv : public nsIStreamConverter

nsHTTPCompressConv::AsyncConvertData(const char *aFromType, ...)
比较类型串,设置解压模式。例
    else if (!PL_strncasecmp(aFromType, HTTP_DEFLATE_TYPE, sizeof(HTTP_DEFLATE_TYPE)-1))
        mMode = HTTP_COMPRESS_DEFLATE;

nsHTTPCompressConv::OnDataAvailable(...)
针对不同解压模式进行解压。

代码阅读:
    switch (mMode)
    {
        
case HTTP_COMPRESS_GZIP:
            streamLen 
= check_header(iStr, streamLen, &rv);
        
case HTTP_COMPRESS_DEFLATE:
            
            
break;
        
default:
            
    }


HTTP_COMPRESS_COMPRESS没有进行特别处理?
应该是无法解的,可能LZW解压算法有专利问题。

Gzip进行头部处理后就与deflate进行相似的解压。
        case HTTP_COMPRESS_DEFLATE:
            

            
if (mMode == HTTP_COMPRESS_DEFLATE)
                 
/* deflate */
            
else
                 
/* gzip */
            
break;

deflate与gzip解压的代码几乎相同,应该可以合成一块代码。
区别仅有:
  1. deflate使用inflateInit(),而gzip使用inflateInit2()进行初始化,比inflateInit()多一个参数: -MAX_WBITS,表示处理raw deflate数据。因为gzip数据中的zlib压缩数据块没有zlib header的两个字节。使用inflateInit2时要求zlib库忽略zlib header。在zlib手册中要求windowBits为8..15,但是实际上其它范围的数据有特殊作用,见zlib.h中的注释,如负数表示raw deflate。
  2. Apache的deflate变种可能也没有zlib header,需要添加假头后处理。即MS的错误deflate (raw deflate).zlib头第1字节一般是0x78, 第2字节与第一字节合起来的双字节应能被31整除,详见rfc1950。例如Firefox的zlib假头为0x7801,python zlib.compress()结果头部为0x789c。
deflate添假头,与gzip忽略头部效果应该是一样的,是否可以合并处理?
能否判断头部两个字节是zlib头部还是数据?是否有可能raw deflate数据按正常zlib块处理了而不报错?

check_header()

参考:GZIP文件格式简介

1. gz头:0x1f8b
2. Z_DEFLATED标志:0x08
...
其中FLG.FEXTRA的处理有个错误,额外可选项的长度应该是两个字节的合成:
                mLen = ((uInt) c & 0377) << 8;
应改为               
                mLen |= ((uInt) c & 0377) << 8;
因为该额外字段一般在HTTP的应用中不会出现,所以没有显现出来。            
我已提交:Bugzilla@Mozilla – Bug 383984

注意:GZIP文件格式简介中的额外字段的格式与rfc1952不一致,多了两个“选项ID”字节。

还有,
 case GZIP_COMMENT:
     if (mFlags & GZIP_COMMENT)

应改为:

 case GZIP_COMMENT:
     if (mFlags & COMMENT)

该错误已提交,Bugzilla@Mozilla – Bug 382849

zlib可以处理gzip头部,但所有gz函数都是针对gz文件进行的,没有直接在内存中处理gzip的,这好象是zlib功能上的一个不足吧?


相关rfc:
rfc1950: ZLIB Compressed Data Format Specification version 3.3
rfc1951: DEFLATE Compressed Data Format Specification version 1.3

(转载请注明来源于金庆的专栏)

posted on 2007-07-09 12:13 金庆 阅读(2146) 评论(0)  编辑 收藏 引用 所属分类: 1. C/C++

只有注册用户登录后才能发表评论。
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理