
大数据处理
文章平均质量分 70
大数据处理
韩师学子--小倪
不要告诉别人你的计划,只需要让别人知道结果就行了。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
BigDecimal.ROUND_HALF_XXX的各种用法
在银行、帐户、计费等领域,BigDecimal提供了精确的数值计算。其中8种舍入方式值得掌握。1、ROUND_UP舍入远离零的舍入模式。在丢弃非零部分之前始终增加数字(始终对非零舍弃部分前面的数字加1)。注意,此舍入模式始终不会减少计算值的大小。2、ROUND_DOWN接近零的舍入模式。在丢弃某部分之前始终不增加数字(从不对舍弃部分前面的数字加1,即截短)。注意,此舍入模式始终不会增加计算值的大小。3、ROUND_CEILING接近正无穷大的舍入模式。如果 ...转载 2021-02-23 09:49:31 · 410 阅读 · 0 评论 -
stream-lib流式计算库
目录简介HyperLogLog概述maven依赖测试用例参考简介stream-lib是一个开源的Java流式计算库,里面有很多大数据估值算法的实现,也包括HyperLogLog算法。HyperLogLog概述HyperLogLog会计算每一个成员二进制值首位有多少个零,如果零的最大个数是n,则唯一值数量就是2^n。算法中有两个关键点,首先,成员的值必须是服从正态分布的,这一点可以通过哈希函数实现。stream-lib使用的是MurmurHash,它简单、快速、且...原创 2021-01-24 19:08:39 · 716 阅读 · 0 评论 -
Roaring64Bitmap实践
maven依赖<dependency> <groupId>org.roaringbitmap</groupId> <artifactId>RoaringBitmap</artifactId> <version>0.9.0</version></dependency>测试一:优化前后,读写文本期间,序列化与反序列化的耗时import o...原创 2021-01-24 11:10:01 · 4412 阅读 · 0 评论 -
如何判断一个元素在亿级数据中是否存在?
如何判断一个元素在亿级数据中是否存在?转载:https://mp.weixin.qq.com/s/O3Hl5bPwWr7KftKWNsbmsA现在有一个非常庞大的数据,假设全是 int 类型。现在我给你一个数,你需要告诉我它是否存在其中(尽量高效)。需求其实很清晰,只是要判断一个数据是否存在即可。但这里有一个比较重要的前提:非常庞大的数据。...原创 2018-12-25 23:48:30 · 275 阅读 · 0 评论 -
海量数据处理(Set、BitMap、HyperLogLog、BloomFilter)
海量数据处理(Set、BitMap、HyperLogLog、BloomFilter)目录SetBitMap(由bitSet来实现的)HyperLogLogBlommFilter综上所述海量数据处理:基于海量数据上的存储、处理、操作。何谓海量,就是数据量太大,所以导致要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存。那解决办法呢?针对...原创 2019-04-20 22:24:49 · 1768 阅读 · 0 评论 -
BigInteger和BigDecimal
java大数运算运用数据类型:数据类型 类型名 位长 取值范围默认值布尔型 boolean 1 true,false false字节型 byte 8 -128-127 0字符型 char 16 ‘\u000’-\uffff ‘\u0000’短整型 short 16 -32768-32767 0整型 int 32-2147483648,214748364...原创 2017-12-23 09:53:04 · 2258 阅读 · 0 评论 -
java项目——大数据量的处理
java项目——大数据量的处理转载:https://blog.youkuaiyun.com/zhangzijiejiayou/article/details/506165201. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1:可以估计每个文件安的大小为50G×64=320...原创 2018-09-16 14:44:52 · 5078 阅读 · 0 评论 -
初识redis的bitmap
初识redis的bitmap转载:https://blog.youkuaiyun.com/u011489043/article/details/78990162写在前面 本学习教程所有示例代码见GitHub:https://github.com/selfconzrr/Redis_Learning基本语法:1)SETBIT/...转载 2019-04-13 17:22:02 · 333 阅读 · 0 评论 -
用Redis bitmap统计活跃用户、留存
用Redis bitmap统计活跃用户、留存转载:http://blog.getspool.com/2011/11/29/fast-easy-realtime-metrics-using-redis-bitmaps/ Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位,通过对活跃用户对应的位进行...转载 2019-04-13 16:48:06 · 409 阅读 · 0 评论