
spark
文章平均质量分 70
Kelvin-Liang
Nothing is impossible
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
SPARK & HIVE现在ACID的支持现状
在讨论之前,先介绍ACID是什么。 原子性(Atomicity) 原子性是指事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生。 一致性(Consistency) 事务前后数据的完整性必须保持一致。 隔离性(Isolation) 事务的隔离性是多个用户并发访问数据库时,数据库为每一个用户开启的事务,不能被其他事务的操作数据所干扰,多个并发事务之间要相互隔离。 持久性(...原创 2019-11-12 15:22:46 · 1445 阅读 · 0 评论 -
说说我对spark-sql的job的参数调优
首先要说的是机器配置 namenode/datanode: cpu : 8core memory: 56G 我现在是基于yarn+spark的架构来说。 现在设置 yarn.nodemanager.resource.memory-mb =51200 (50GB) --每个node可以最多使用50GB作为 container 的分配 yarn.scheduler.minimum原创 2016-02-19 20:57:26 · 2691 阅读 · 0 评论