weixin_43540084的博客

mysql binlog开启

本文基于尚硅谷Hadoop3.x搭建高可用集群文档，hadoop版本为hadoop3.1.3，用于记录自己实操部署的过程和可能存在的问题。

当前统计单个用户通话信息已经封装了一个自定义key,AnalysisKey（属性值为tel和date），自然想到再封装一个新的自定义key,AnalysisIntimacyKey（属性值caller,callee,date）。但map方法或者reduce方法中都是只能返回一种key和value，因此如果直接在一个map()中封装另一个自定义key的话，map的返回值key会不知道指定哪个。

复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的class not found exception（我尽力了也许是我不熟悉IDEA或者maven到底应该是怎么打包的）。...

HBase协处理器问题

Ubuntu Server中使用Docker搭建Hadoop集群Ubuntu Server安装拉取Ubuntu镜像创建容器换源Ubuntu Server安装在Ubuntu官网中下载Ubuntu Server 20.4.3 LTS版本，并在VMWare虚拟机中（其他虚拟机软件皆可）安装好。由于Ubuntu Server在安装的过程中集成了多种预装软件可以勾选，大家在安装的时候直接将Docker勾选上就可以了，可以根据需要进行其他产品的安装。其余的步骤可以自行搜索Ubuntu安装的教程进行安装，安装

HDFS Java API 操作首先需要挑选一个心仪的IDE，这里就用人见人爱的Eclipse吧，然后为了导包方便，这里选择搭建一个Maven项目，将Hadoop的Java API包引入到项目的pom.xml文件中。<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.8.2<

HDFS命令行操作查看HDFS所有支持命令列表$hdfs dfsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALM