- 博客(6)
- 收藏
- 关注
RSS订阅转载 Spark on YARN的部署
Spark on YARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoop HDFS并且运行在yarn上，然后就可以开始部署spark on yarn了，假设现在准备环境已经部署完毕，这里是在CDH 环境下部署Spark 除了上面的环境准备，安装Spark前，还应该保证Scala正常安装，基于Scala的情况下，就可以开始部署Spa...
2019-04-10 10:08:57
1035
转载 beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误
转自：https://www.cnblogs.com/bluejoe/p/5115822.html采用beeline连接hive server是遭遇到如下错误：[java]view plaincopyprint?5:jdbc:hive2://bluejoe0/default>select*fromhive_tripleswheresubject='&l...
2019-03-26 15:08:52
2910
原创 SQL语句种类
SQL语句分为： （1） DQL（数据查询语言）：select （2） DDL（数据定义语言）：create/drop/alter/truncate/rename （3） DML（数据操纵语言）：insert/update/delete (4) TCL（事务控制语言）：commit/rollback/savepoint （5） DCL（数...
2019-02-27 09:29:50
172
转载 zookeeper的安装及使用
1. Zookeeper概念简介Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务zookeeper是为别的分布式程序服务的 Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… 虽然说可以提供各种服务，但...
2019-02-26 17:30:39
282
转载 fail-fast总结(通过ArrayList来说明fail-fast的原理、解决办法)
转载：http://www.cnblogs.com/skywang12345/p/3308762.html 1 fail-fast简介fail-fast 机制是java集合(Collection)中的一种错误机制。当多个线程对同一个集合的内容进行操作时，就可能会产生fail-fast事件。例如：当某一个线程A通过iterator去遍历某集合的过程中，若该集合的内容被其他线程所改变了；...
2019-02-26 17:14:50
107
转载 Python yield 使用浅析【转载】
转自：https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/ 您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波...
2019-02-26 17:09:53
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人