大数据
关注
分享
扫一扫
菜园子哇
这个作者很懒，什么都没留下…
展开
-
CDH Service和Host监视器区别，主机监控各指标解释
CDH Service和Host监视器区别，主机监控各指标解释Service 和Host监视器的作用Service Monitor (SMON)Host Monitor (HMON)Cdh主机监控（各指标含义）一、CPU监控二、聚合磁盘 IOPS三、系统文件容量四、磁盘延迟五、平均负载六、聚合磁盘吞吐量Service 和Host监视器的作用Service Monitor (SMON)它的主要...原创 2020-01-16 00:09:40 · 1753 阅读 · 0 评论 -
SparkContext和SparkSession不能序列化分析，解决方法
Task not serializable,Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext 错误原因分析，@transient注解解决报错信息错误原因解决方法解决方法1：解决方法2：需要注意报错信息Caused by: java.io.NotSerializableException: org...原创 2020-01-08 23:36:50 · 1616 阅读 · 0 评论 -
spark 任务提交 conf不生效
提交任务的时候 --conf 等配置需要放在jar包前面，否则不会生效具体环境信息可以在点击任务点击Environment 可以看到当前任务的详细信息原创 2019-12-15 21:34:05 · 985 阅读 · 0 评论 -
cdh 添加新主机
1.1说明CDH机器添加分三种方式页面向导添加(最好离线)软件包手动安装原始码手动安装第一种方式最简单，添加的节点会去主机下载安装包，但是在公网上ip反向解析域名，经常出错，离线会好点第三种方式原始码安装需要自己指定管理目录推荐第三种方式，会自动添加对应的服务，目录自动建立这里分享第二种方式，软件包安装方法1.2安装部署主机名、ip等修改好，关闭防火墙，ssh免密码登录...原创 2019-12-15 21:30:03 · 1521 阅读 · 0 评论 -
大数据环境搭建--zookeeper
Zookeeper的环境配置HBase做集群，所以就需要zookeeper了将下载下来的Zookeeper 的配置文件进行解压tar -xvf zookeeper-3.4.6.tar.gz然后移动到/app/hadoop/目录下（根据自身情况选择）mv zookeeper-3.4.10 /app/hadoop创建目录mkdir /app/hadoop/zookeep...原创 2019-12-15 21:24:44 · 283 阅读 · 0 评论 -
大数据环境搭建--mysql
官网下载安装包https://www.jianshu.com/p/276d59cbc529修改默认安装路径执行解压命令tar xzvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz移动该文件到home目录下（注默认安装路径是/usr/local/mysql可将~/mysql改为）执行移动命令：mv mysql-5.7.24-linux-glibc...原创 2019-12-15 21:22:50 · 337 阅读 · 0 评论