- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink广播变量和分布式缓存
Flink广播变量和分布式缓存 一:Flink广播变量 Flink支持广播变量，就是将数据广播到具体的taskmanager上，数据存储在内存中，这样可以减缓大量的shuffle操作； 比如在数据join阶段，不可避免的就是大量的shuffle操作，我们可以把其中一个dataSet广播出去，一直加载到taskManager的内存中，可以直接在内存中拿数据，避免了大量的shuffle，导致集群性能下降； 广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应
2020-06-04 15:07:34
1024
原创 Informix数据库安装文档
Informix数据库安装文档 安装环境 Linux centos 2.6.32-754.24.3.el6.x86_64 informix安装包:INFO_ENT_ED_12.10_FC7_LNX86_64_EN.tar 安装步骤: 整个过程都用root用户运行 1.首先创建informix用户 groupadd informix useradd -g informix informix 2.创建安装目录: “/opt/informix” mkdir /opt/informix chown informi
2020-05-22 17:21:11
1263
1
原创 kylin的原理理解
kylin的原理理解 kylin简介 kylin是一个大数据的OLAP引擎,是由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目,Hive的性能比较慢，支持SQL灵活查询，特别慢,HBase的性能快，原生不支持SQL,Kylin是将先将数据进行预处理（预计算），将预处理的结果放在HBase中。效率很高 kylin应用场景 用户数据...
2020-05-06 18:25:42
995
原创 Spark原理及理解
Spark原理及理解 Spark简述 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需...
2020-04-22 16:49:33
507
原创 浅谈LSM-tree的理解
浅谈LSM-tree的理解 LSM_tree 全称是Log Structured Merge Trees(日志结构合并树) 被广泛应用于key-value键值对数据库,是一种存储结构/引擎,或者说是一种思想 像HBase就是典型基于LSM树思想设计的 核心思想 lsm_tree是一种分层,有序,面向磁盘的存储结构,核心思想就是充分利用了磁盘的批量顺序写入比随机写入性能高很多,最大的特点就是写入速度...
2020-04-17 15:35:42
1547
原创 Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat
Hive和Tez整合之后往ES中插入数据报错的问题 Caused by: java.lang.ClassNotFoundException: org.elasticsearch.hadoop.hive.EsHiveInputFormat 在我吧hive的引擎替换为tez以后,运行SQL报错,后来发现是往ES映射表的时候报错 Status: Failed Vertex failed, vertexN...
2020-04-08 11:05:52
2585
原创 Hive引擎替换为tez
Hive引擎替换为tez Hive的默认计算引擎是MR,但是mapreduce的速度实在是很慢,所以我们考虑将计算引擎更换为tez 安装环境: Hadoop-2.7.4 hive-2.3.6 具体版本根据自己实际情况来 首先tez下载:tez版本请参考官网,我这里是下载的0.9.1 这需要jdk8或更高版本,还有maven3或更高版本 https://mirrors.tuna.tsinghua.e...
2020-04-08 09:42:23
1481
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人