Shuffy

     摘要: “重复数据删除(Deduplication)”技术，就是在通过网络传输或存储数据时，不传送或存储多份相同 数据，以减少对网络带宽和存储空间的占用。实际上以前的SIS（单实例存储）就是一种Dedu技术，但是它去重的单位是文件。现在流行的Deduplication技术通过是以数据块为单位的，去重效果会更好，实现起来复杂程度也更高一些。这些技术用在数据备份领域效果最好，因为多次全备 份产生的数据中包含大量的重复数据。增量备份可以在一定程度上减少重复备份，但是它的单位是文件，颗粒度不好，而且长期采用增量备份也不实际，因为还原时 会非常复杂。如果通过合成备份来解决这一问题，合成作业又会产生额外的开销。  阅读全文

     摘要: Hash查找因为其O(1)的查找性能而著称，被对查找性能要求高的应用所广泛采用。它的基本思想是：
(1) 创建一个定长的线性Hash表，一般可以初始化时指定length;

(2) 设计Hash函数，将关键字key散射到Hash表中。其中hash函数设计是最为关键的，均匀分布、冲突概率小全在它；

(3) 通常采用拉链方法来解决hash冲突问题，即散射到同一个hash表项的关键字，以链表形式来表示(也称为桶backet);

(4) 给定关键字key，就可以在O(1) + O(m)的时间复杂度内定位到目标。其中，m为拉链长度，即桶深。  阅读全文

     摘要: 短网址一直都在微博上应用。例如腾讯微博的短网址url.cn，新浪的sinaurl.cn等。 他们是如何实现呢，本文将介绍一下该技术算法！短网址一直都在微博上应用。例如腾讯微博的短网址url.cn，新浪的sinaurl.cn等。 他们是如何实现呢，本文将介绍一下该技术算法！比如我们在腾讯微博上发布网址的时候，微博会自动判别网址，并将其转换，例如转换为：http://url.cn/3fVZf1  阅读全文