海量数据处理 C++算法之海量数据处理方法的总结分析

海量数据处理中常用到的技术
1. Bloom Filtering
基本的Bloom Filtering支持快速的插入和查找操作，是一种hash表技术。基本的数据结构非常简单，容量为m的位数组，k个hash函数，将输入的n个元素存储在位数组里面。
每次插入一个新的元素，先计算该元素的k个hash指，将位数组对应hash值位置为1. 查找某个元素时，同样的先计算k个hash值，然后查询看是否对应位数组中得k位是否都是1，是则断定元素存在。
基本的Bloom Filtering算法可以用于允许误差的快速判重操作。集合的交集、并集的计算。
Bloom Filtering有个改进的版本counting bloom filtering可以支持数据的删除操作，countering bloom filtering和基本的bloom filtering相比，位数组中每一位的取值扩展成多位，基本的bloom filtering用1bit表示一位。插入一个元素时，所有的k位都加1，删除时都减1，查找时如果k个值都大于0则判定为存在。CBF中有个很重要的参数，即每一位的位数为多少。可以通过理论证明，位数一般取4就足够了，可以支持同一个数据插入16次。
bitmap可以看做bloom filtering的特例
2. Hash表技术
d-left hash hash表负载均衡技术。将hash表分成d段，设计d个hash函数，更具负载选择一个合适的段存放数据。查找时要计算d个hash值，分别在d段中找。
常用于统计次数。
3. 堆技术
堆有两个典型的应用：
多路归并排序
求TopK
多路归并排序时，降序排序时用最大堆，升序排序用最小堆。
TopK时，求TopK最大时，用最小堆，求TopK最小时用最大堆。求topK最大时，利用最小堆堆维护K个值，当新扫描的值大于堆顶元素时，堆顶元素删除，插入新的值。这样扫描完一遍数据，既可以求得topK最大。
4. 双层桶（多层桶）设计
hash表技术是一种direct addr 技术，但是当数据范围分布过广、且数据量非常大的时候，采用hash表直接direct addr技术就不行了，这是可以使用多层hash技术。将原始数据范围分成小段，每一段内存可以装载，段内可以使用direct addr table技术。可以用多层分级快速定位到小段。