HADOOP
关注
分享
扫一扫
文章平均质量分 68
CODE20220318
这个作者很懒，什么都没留下…
展开
-
MapReduce开发环境搭建
MapReduce开发环境搭建原创 2022-08-11 17:13:38 · 1060 阅读 · 0 评论 -
数据仓库工具箱 第10节 金融服务
>金融服务涉及各行业，如信用卡公司，抵押贷款提供商等，日常接触的零售银行。一家银行提供广泛的产品，包括活期存款，储蓄账户，按揭贷款，个人贷款，信用卡以及银行贵重物品保险箱等。>主要讨论如下概念：>银行总线矩阵片段>对维度进行分类以避免维度太少的陷阱>家庭维度>用一个账户关联多个客户的桥接表，以及权重因子。>报表的动态范围值实时...原创 2022-08-03 14:24:10 · 136 阅读 · 0 评论 -
HADOOP数据分片及MapTask并行度
HADOOP数据分片及MapTask并行度InputSplit对象getSplits()方法MapTaskRecordReader其他分片方式CombineTextInputFormat自定义RecordReader分片优化HADOOP分块处理核心数MapReduce进行数据处理时，首先，需要从hdfs读取数据借助getSplits()方法进行分片；然后，创建和分片数量一致的Maptask，并为每个MapTask分配一个数据分片；最后，再借助RecordReader类读取分配的数据分片，以key，val原创 2022-03-29 19:16:06 · 1077 阅读 · 0 评论