qq_39474136的博客

转载https://blog.youkuaiyun.com/h1025372645/article/details/94900284

创建表drop table if exists ods_order_info;create external table ods_order_info ( `id` string COMMENT '订单号', `consignee` string COMMENT '收货人', `consignee_tel` string COMMENT '收件人电话',`final_total_amount` decimal(16,2) COMMENT '订单金额',`order_status`

sqoop安装和配置官网下载地址: https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/下载完成之后，解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz进入conf目录，把 sqoop-env-template.sh 重命名为 sqoop-env.shmv sqoop-env-template.sh sqoop-env.sh然后配置 sqoop-env.sh#hadoop安装目录export HADO

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar -zxvf apache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。 export JAVA_HOME=/data/java/jdk1.8.0_11然后进入bin目录，执行命令，验证flu

因为我本地之前有安装过zookeeper和hadoop，所以这里就不讲这两个的安装了，如需安装，自行百度。官网下载地址 http://spark.apache.org/downloads.html这个官网很奇怪，有时候那个下拉选择版本的框，显示不出来。所以我翻墙下载了，翻墙了之后，可以正常显示了。Spark我使用的是这个版本的 spark-3.0.1-bin-hadoop3.2.tgz安装完之后，上传到服务器，解压tar -zxvf spark-3.0.1-bin-hadoop3.2解压完成之

1. 安装包下载 官网地址： 下载和Hadoop匹配的hive稳定版本 官网：http://hive.apache.org/downloads.html （看和你安装的Hadoop版本相对应） 然后把安装包上传到服务器 ，并且解压，Hive是基于Hadoop的，请先提交安装好Hadoop并且启动hdfs。tar -zxvf apache-hive-3.1.2-bin.tar.gz解压完成后，更改一下名称mv apache-hive-3.1.2-bin hive-3.1.2然后配置

数据结构{"city":"sanya","address":"yaloggwang"}{"city":"lingshui","address":"lingzhi"}{"city":"wenchang","address":"qinglan"}{"city":"dongfang","address":"fangbiaoxiaoxue"}代码package test.hbase.test;import com.google.gson.Gson;import org.apache.hadoop

打包运行到mapre报错java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.lang.NullPointerException at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:423) at org.apache.hadoop.mapred.MapTask.acc

转载地址: https://blog.youkuaiyun.com/fenggms/article/details/82932697

在部署HBase的时候，执行 start-hbase.sh命令，主节点一直起不来，后来到logs文件夹下面，看输出日志，结果报了错java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Ple