- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据集群问题总结
1.集群子节点dataanode起不起来2.在安装CDH的时候监控不到节点a.首先看在各个agent节点中在cm-5.14.4/etc/cloudera-scm-agent/路径下的config.ini中的server_host=主节点，配置没3.如果安装CDH失败a.先停止所有的agent和server服务cloudera-scm-agent stop ;cloudera-scm-server stopb.删除所有agent的uuidrm -rf cm-5.12.1/lib/clouder
2020-09-29 17:16:01
436
原创 大数据集群各种压测
本次主要是对新集群的性能测试，测试环境：系统 环境 台数 CPU 内存 硬盘Centos7.3 CDH6.0.1 3台 32 64G 16THadoop自带的测试工具：Hadoop基准测试首先，对服务器做一下测试，主要是磁盘I/O和网络I/O。磁盘I/O读测试hdparm 用于查看硬盘的相关信息或对硬盘进行测速、优化、修改硬盘相关参数设定。这里只用作磁盘读测试。yum install hdparmhdparm -t /dev/sdd三次测试结果：/dev/sdd:Timing buf
2020-09-29 15:10:54
840
1
原创 Flink的流处理的wordCount
Flink的流处理的wordCount对于Flink的流处理模式，下面的代码块完整的说明了Flink处理wordCount的过程import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironme...
2020-05-08 11:36:56
163
原创 关于Hive的窗口函数
关于Hive的窗口函数Hive是有一些窗口的大小限制相关函数的说明：OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化CURRENT ROW：当前行n PRECEDING：往前n行数据n FOLLOWING：往后n行数据UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后...
2020-05-08 11:28:32
111
CDH完整线上安装文档 .docx
2020-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人