cy19871228cy的博客

Hudi 实战 官网 ：https://hudi.apache.org/docs/spark_quick-start-guide.html#setup 在大数据平台 华为 FusionInght HD 6.5.1中使用 hudi 0.7.0 版本 1 登录华为HD 客户端 2 由于环境离线在只能使用离线的hudi和avro包进行试验 分别下载3个jar包 3 由于我spark版本是2.3.2 有jar包冲突 先把spark libs里面的avro 包移走 4 使用spark-shel

1 ssh互访(可以不配置)2 时间同步服务NTP配置1.1 在一台主机上编辑配置文件/etc/ntp.confvim /etc/ntp.conf去掉一下两行前面的#号#server  127.127.1.0     # local clock#fudge  127.127.1.0 stratum 101.2 在其他主机上分别编辑配置文件/etc/ntp.confvim /etc/ntp.conf...

SparkR的安装和配置 1 集成在CLOUDERA MANAGER里 由于cdh集成的spark2不支持sparkR所以要手动将sparkR的相关内容放入spark2的目录下 1 下载已经编译过的spark2包 wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz 2 安装sparkR 解

Presto on redis  PRESTO的安装和配置 1 安装 1 下载presto包 (1) wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.179/presto-server-0.179.tar.gz 2 上传presto包上传到服务器 将（1）上传至10.118.242.72