- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 理解 Spark 的分区器
Spark一般是部署在分布式环境中的(有可能是在区域集中的集群上，也有可能跨城市)，而在分布式环境中，数据在各节点进行网络的传递代价是很大的。借用Spark源码里对groupByKey算子的描述（@note This operation may be very expensive 。。。 ），可见一斑。 @note As currently implemented, groupByKey must be able to hold all the key-value pairs for any key in
2020-09-16 10:45:37
444
转载 CDH对应的各服务组件的版本号
CDH5.6.1 版本汇总 Cluster 1 — CDH 5 主机 master1; slave[1-2] 组件 版本 发行版 CDH 版本 Bigtop-Tomcat（仅限 CDH 5） 0.7.0+cdh5.6.1+0 1.cdh5.6.1.p0.6 CDH 5 Crunch（仅限 CDH 5 ） 0.11.0+cdh5.6.1+78 1.cdh5.6.1.p0.6 CDH 5 Flume NG 1.6.0+cdh5.6.1+38 ...
2020-09-15 19:23:59
1671
原创 shiro项目able to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean
在spring结合shiro的项目中出现以下的错误分析 org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missin
2020-05-12 13:22:34
150
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人