【位图】位图实现，处理大数据

最新推荐文章于 2020-10-09 22:47:45 发布
原创 最新推荐文章于 2020-10-09 22:47:45 发布 · 3.9k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #位图

位图法是一种用于大规模数据存储和检索的技术，尤其适用于判断数据存不存在的情况。通过位操作，位图可以高效地表示和处理数据，但在存储元素大小受限于内存空间，并且可读性较差。常见应用包括找唯一整数、求文件交集和限制出现次数的整数。位图在处理大数据时提供了一种空间效率高的解决方案，但须注意其局限性。
定义

位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。

通常是用来判断某个数据存不存在的。

例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以用0，1表示。那么就可以开一个int数组，一个int有32个位，就可以表示32个人。操作的时候可以使用位操作。

位图实现
unsigned int bit[N];

在这个数组里面，可以存储 N * sizeof(int) * 8个数据，但是最大的数只能是N * sizeof(int) * 8 - 1。假如，我们要存储的数据范围为0-15，则我们只需要使得N=1，这样就可以把数据存进去。如下图：

这里写图片描述

数据为【5，1，7，15，0，4，6，10】，则存入这个结构中的情况为:

最低0.47元/天 解锁文章
位图详解.
qq_56444564的博客
12-22 598
给40亿个不重复的无符号整数，没排过序。40亿个整数存放160亿个字节，用到位图只需要4 000 000 000 / 8 个字节。数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比。特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。海量数据，整数，数据无重复的场景。也就是说，我用476兆就能把40亿个数据表示出来，这就是位图的作用。10个整数本应该存放40个字节，用到位图只需要3个字节。面临同样的问题，电脑的运行内存16个G，放不下。
【位图】--利用位图储存大数据，节省空间，快速查找
08-11 820
#include<iostream> using namespace std; #include<vector> class BitMap { public: BitMap(size_t MaxNum)//构造函数 { _arr.resize((MaxNum>>5)+1); } void Set(size_t num)//位图中插入元素 {
BitMap的读写与修改
邱小兵的博客
10-09 1601
位图（BitMap）是一种非常常见的图像类型，而且因为其失真率低，所以在机器视觉中经常会使用到它，因此需要对BitMap有更深一步的认识。 BitMap总的来说分为四个结构：位图文件头结构、位图信息头结构、颜色表和位图数据。 其中，位图文件头结构存储的是对图像文件类型的声明等规定化的内容，位图信息头结构则存储了关于位图的一些相关信息，颜色表是只在灰度位图文件中存在（彩色bmp图像中不存在颜色表），其表示位图灰度值的索引以及对应值，位图数据是存放真正图像数据的内存区。 下面通过C++实现对BitMap的读写与
大数据常用技巧之位图法
热门推荐
DRFish
12-07 1万+
大数据常用技巧之位图法介绍位图的基本概念是用一个位（bit）来标记某个数据的存放状态，由于采用了位为单位来存放数据，所以节省了大量的空间。举个具体的例子，在Java中一般一个int数字要占用32位，如果能用一位就表示这个数，就可以缩减大量的存储空间。一般把这种方法称为位图法，即Bitmap。BitSet正因为位图运算在空间方面的优越性，很多语言都有直接对它的支持。如在C++的STL库中就有一个bit
用位图解决大数据存储
yangrujing的专栏
12-05 739
BitSet.h#include<iostream> #include<assert.h> using namespace std;class BitSet { public: BitSet(size_t N) //N表示存储数据的范围 { _size = N / 32 + 1; _arr = new size_t[_size]; me
大数据位图索引压缩算法研究
04-12
随着Internet应用程序的日益普及和移动Internet的广泛使用，过去二十年来Internet流量一直保持快速增长。 用于数据包或流记录的Internet流量...期望自1980年代以来，位图索引压缩将在大数据时代蓬勃发展并再次繁荣。
大数据位图索引压缩算法调研分析
"这篇研究论文深入探讨了大数据背景下位图索引压缩算法的现状与进展。随着互联网应用的普及和移动互联网的广泛使用，网络流量持续快速增长，这使得网络监控、故障排查和用户行为分析等领域对互联网流量存档系统（IT...
位圖
seegroung的专栏
03-18 464
基本对象basic objects — 位图bitmap 2014年4月17日 admin 发表回复 图形有两种：矢量图 (vector) 和位图 (bitmap). 矢量图中，图像是通过数学公式来定义图像中的各种形状创建的. 会用到诸如曲线以及多边形等几何对象. 而位图本质上是一系列形成一幅图像的二进制位构成, 是存储在内存或是文件中的独立的点的网格, 每个点都有其自己的颜色, 当一个图
位图
SpadgerZ的博客
11-24 1453
转载自： http://www.cnblogs.com/CareySon/archive/2012/04/25/2470063.html 当预留的空间不够满足增长时，操作系统首先会看相邻的内存是否空闲，如果空闲则自动分配，如果不空闲，就将整个进程移到足够容纳增长的空间内存中，如果不存在这样的内存空间，则会将闲置的进程置换出去。      当允许进程动态增长时，操作系统必须
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值