hadoop&&spark
文章平均质量分 50
BASEDEDATO
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop 高可用集群搭建
#关闭防火墙systemctl disable firewalldsystemctl stop firewalld#关闭selinux /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=disabledsed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config...原创 2017-06-12 16:39:58 · 1404 阅读 · 0 评论 -
spark ha集群配置
spark集群 hadoop配置参见hadoop 高可用集群搭建su - rdatocd /u01tar -zxvf spark-2.1.1-bin-hadoop2.7.tgzmv spark-2.1.1-bin-hadoop2.7 spark#复制模版cp /u01/spark/conf/spark-env.sh.template /u01/spark/conf/spark...原创 2017-08-04 16:31:59 · 511 阅读 · 0 评论 -
TiDB的存储层(TiKV)做为spark分布式数据源事例
TiSpark深度整合了Spark Catalyst引擎,可以对计算提供精确的控制,使Spark能够高效的读取TiKV中的数据,提供索引支持以实现高速的点查;通过多种计算下推减少Spark SQL需要处理的数据大小,以加速查询;利用TiDB的内建的统计信息选择更优的查询计划。从数据集群的角度看,TiSpark + TiDB可以让用户无需进行脆弱和难以...原创 2018-11-14 15:44:13 · 851 阅读 · 0 评论
分享