larbin源码分析(五) hashDup类对象的实现
一 类的成员变量及主要功能
(1) 成员变量
ssize_t size; //表示hash 表的大小
char *table; //表示hash存储区域
char *file; //表示存储的文件，内存中的hash表可以保存在外部磁盘中
(2) 主要功能
该类和hashTable代码比较相似，但是hashTable处理的是url去重，而hashDup处理的是网页内容的去重，
不会对完全相同的网页进行爬取，但是不保证相似网页的排重。改进的一个方向。
二 具体的成员函数
构造函数
hashDup (ssize_t size, char *init, bool scratch); size表示hash表的大小，单位为bit。
init参数表示 hash表存储在磁盘的文件名称。scratch若为true表示重新构建hash表，
若为false，则表示需要从磁盘文件中读取hash表。
~hashDup()函数 具体操作为 情况table内存。
下面主要讲解网页内容去重的函数
bool hashDup::testSet (char *doc) { //doc应该为网页的具体内容 ，依次顺序遍历网页内容，对其中A与z之间的字符进行验证
unsigned int code = 0;
char c;
for (uint i=0; (c=doc[i])!=0; i++) {
if (c>'A' && c<'z')
code = (code*23 + c) % size;
}
unsigned int pos = code / 8; //具体的判断函数，若是执行插入返回true，否则返回false
unsigned int bits = 1 << (code % 8);
int res = table[pos] & bits;
table[pos] |= bits;
return !res;
}
save()函数
主要的作用就是，将table区域中的数据，存储在外部磁盘中，进行持久化操作。
三 总结
该类为网页内容去重hash函数的具体实现。