spark
iT执行人
我是一个小小鸟
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
SparkStreaming消费Kafka项目实战(JAVA版)
原文连接 http://notes.itennishy.com/article/43一 项目需求1、统计用户访问直播的uv数、pv数?2、统计用户跳转直播间的统计排名,即我的粉丝从哪个直播间过来到哪个直播间去?3、统计评论数和评论人数?4、统计引导进店数和引导进店人数?5、直播数据查询等。二 整体方案设计图三 开发过程中关键点总结3.1 过程优化1、采用队列方式,通过队列...原创 2019-09-20 09:49:23 · 2079 阅读 · 0 评论 -
Spark性能调优
1、使用kryo序列化类库2、优化算子函数的数据结构,少用包装数据类型Integer或者HashMap,Linklist等,可以用原始类int等int[],一般Map<String,Person>,可以使用特殊字符串来存储,不如JsonString拼接3、使用checkpoint或者cache、persist持久化4、使用序列化的持久化级别5、java虚拟机垃圾回收调优调整e...原创 2019-09-20 10:08:03 · 300 阅读 · 0 评论
分享