
分布式计算
bensonrachel
这个作者很懒,什么都没留下…
展开
-
(spark-shell)Scala命令行中如何批量查看多条历史命令(代码)
scala> :history 1000 可在输入里直接输入:得到更多的提示信息! All commands can be abbreviated。:h? <string> search the history:history [num] show the history (optional num is commands to show)scala> :All commands can be ab...原创 2021-09-09 14:33:38 · 857 阅读 · 1 评论 -
Kylin分布式分析型数据仓库-集群部署步骤小结
集群部署Kylin分布式分析型数据仓库步骤集群信息:hadoop2.6.5-CDH5.13.3版本、JDK8.151、以及Hive、Hbase、ZooKeeper、Spark(可选)。使用的Kylin版本是apache-kylin-2.4.0-bin-cdh57。下载地址:https://archive.apache.org/dist/kylin/apache-kylin-2.4.0/ .五台机器的具体ip和名字:2.创建目录:mkdir /usr/local/appscd /usr/l.原创 2021-04-19 13:41:29 · 349 阅读 · 0 评论 -
Scala:Scaladoc的生成方法
项目场景:根据需求对spark源码进行修改后使用maven在git bash中对修改后的项目进行文档生成,即有api文档等的index.html问题描述:提示:这里描述项目中遇到的问题:例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据APP 中接收数据代码:@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainM原创 2020-11-11 15:41:00 · 593 阅读 · 0 评论 -
Spark:关于yarn中的application master的启动流程问题的探索
Spark:关于yarn中的AM的启动流程问题的探索Spark中的三种分布式集群部署模式:Spark:Yarn三大组件(模块)ResourceManagerNodeManagerApplicationMaster需再次明确的概念:AMSpark on YARN的两种模式具体阐述YARN-Cluster模式的AM执行流程:我自己看完的总结:Spark中的三种分布式集群部署模式:当以分布式集群部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client模原创 2020-10-24 16:05:16 · 2548 阅读 · 1 评论