jackfeng86的专栏

2022年-数仓-【时间维度表】-年、周、节假日新年了，送你一份新年礼物，做数仓的都需要，哈哈！！！

具体报错如下：Error: java.lang.NullPointerException at com.hadoop.mapreduce.LzoSplitRecordReader.initialize(LzoSplitRecordReader.java:63) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:560) at org.ap

报错：Aggregation is not enabled错误描述：Aggregation is not enabled. Try the nodemanager at hadoop102:46139Or see application log at http://hadoop102:8042/node/application/application_1622931290897_0065解决方法：经过分析是历史服务器没有开启日志聚集功能，所以查看不到；配置历史服务器配置步骤：map

Hadoop在Map与Reduce阶段都是通过配置文件进行实现的，具体见下文。手写压缩文件与解压缩问题有代码演示，请客官笑纳。1. Map输出进行压缩// 设置在map输出阶段压缩 conf.set("mapreduce.map.outputt.compress", "true");// 设置解压缩编码器 conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress..

本文，包括：1.MySQL安装与配置2.Hive的安装与配置

一、HDFS-HA 高可用集群配置准备工作1.准备环境安装3台CentOS7虚拟机，hostname分别为：hadoop102， hadoop103，hadoop104在hadoop102上进行如下安装与配置，最后进行分发到其他机器：1）jdk版本：jdk1.8.0_2122）hadoop版本：hadoop-3.1.33）软件安装目录：/opt/module简写说明：NN 代表 NameNodeZKFC 代表 ZooKeeperFailoverController2.安装jdk

需求对两个文件里的单词出现次数进行统计（查询结果：a-p一个文件，q-z一个文件）输入文件1（word01.txt）HadoopSpark HiveHbaseHadoopSpark输入文件2（word02.txt）Java phpAndroidHtml5Bigdatapython计算结果：part-r-00000Android 1Bigdata 1Hadoop 2Hbase 1Hive 1Html5 1php 1python 1part-r-0

1.MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个Hadoop集群上。2.MapReduce优缺点优点1）MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。