用Bitmap存储大量数据
Bitmap的核心思想是用元素的值的本身来保存其位置,所以一般要求元素的值不能重复。与之相对应的是一般排序算法没有以上要求,并且一般排序算法使用的是比较排序的策略。
例如我们有list [0, 2, 3, 4, 8, 10, 13, 14, 15, 16, 17, 19, 20, 22, 23]
,那么我们只需要24个bit就可以存储这些元素,策略如下:
- 构建一个长度为24个bit的数组
- 对所有数字做遍历,把bit 1插入到bit数组中下标与该数字值相等的位置;例如,数字5就应该向bit数组的第5个位置中插入1,插入后结果是
100000
- 重复上面的操作,直到把所有的数字都插入到bit数组中,此时数字保存完毕、并且此时数组中的数字都是有序的,操作完成
下面我们有一个简单的例子
1 | import java.util.*; |
我们执行上面的例子得到以下结果
[0, 1, 3, 4, 5, 8, 12, 13, 15, 18, 19, 20, 22, 23, 24]
1101110010001101001110111
第一行是原始的值,第二行是用位图保存的值。我们发现位图的第0位、第1位、第3位、第4位 … 第23位、第24位上的值都为1,对应了这些下标所对应的值的存在,可见我们已经成功的把数字保存到了位图之中。
通过仔细的观察我们发现,在上面的例子中我们用一个int类型的值就可以保存15位大小在0~30之间的数字了,事实上一个int类型的值最多可以保存 4 * 8 = 32
个连续而不重复的数字,按照这样来算即使是1亿个连续而不重复的数字也只需要
100000000 / 32 * 32 / 1024 / 1024 = 94M
即只需要不到95M的内存我们就可以存下这些数字。如果我们不使用位图来保存则需要
100000000 * 4 * 8 / 1024 / 1024 = 3052M
差不多是3个G左右的内存,可见Bitmap对内存的节省还是相当夸张的。
本文链接:
https://www.nosuchfield.com/2017/10/25/Use-Bitmap-to-store-large-amounts-of-data/
版权声明:
本博客所有文章均采用
CC BY-NC-SA 4.0 许可协议,转载请注明出处!