
总结
The Great Ant
做一个功成名就的人
展开
-
2021-05-25
Java多态和Scala多态的区别文章目录Java多态和Scala多态的区别1.要彻底明白多态的区别,两种语言的继承先要搞清楚1)Java的继承:2)Scala的继承:3)区别:Scala可以重写继承的属性2.多态1)Java2)Scala3)区别:在继承的属性上Scala中属性和方法都是动态绑定,而Java中只有方法为动态绑定1.要彻底明白多态的区别,两种语言的继承先要搞清楚1)Java的继承:修饰符 class 子类 extends 父类名 { 类体 }(1)在进行继承的时候,子类会继承父类原创 2021-05-25 13:09:24 · 105 阅读 · 0 评论 -
2021-05-03
项目中遇到的问题怎么解决的Shell 中Flume停止脚本Hadoop宕机Hadoop解决数据倾斜方法集群资源分配参数(项目中遇到的问题)HDFS小文件处理Hadoop优化Flume挂掉Flume优化Kafka挂掉Kafka丢失Kafka数据重复Kafka消息数据积压Kafka优化Kafka单条日志传输大小自定义UDF、UDTF函数Hive优化Hive解决数据倾斜方法7天内连续3次活跃分摊备注Sqoop空值、一致性、数据倾斜Azkaban任务挂了怎么办?Azka原创 2021-05-03 22:51:40 · 53 阅读 · 0 评论 -
2021-04-21
工作总结—常用的调优参数1)资源相关参数(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限(单位:MB),默认为1024。如果ReduceTask实际原创 2021-04-21 22:13:30 · 78 阅读 · 0 评论