
大数据
水月风情
这个作者很懒,什么都没留下…
展开
-
Apache Kylin 的介绍
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。架构图:Kylin能做什么?为什么要用Kylin?可扩展超快OLAP引擎: Kylin是为减少在Hadoop/Spark上百亿规模数据查询延迟而设计 H...原创 2018-09-08 11:31:54 · 589 阅读 · 0 评论 -
Impala查询时的问题
impala查询时,有时候会非常慢,之前遇到项目重启后,连接impala查询都要等一个小时多,于是查了下,impala在CDH平台的配置参数是Thrift Server,这个参数代表提供客户端请求服务所用的最大线程数,由于之前默认配置64,一旦客户端查询请求过多达到阀值时,新的请求必须等待impala释放连接(内部的释放机制也不知道是怎么样的),方可重新连接。所以把这个参数调大即可。 ...原创 2018-12-24 17:21:49 · 1525 阅读 · 0 评论 -
Hadoop的hdfs写入数据的两个策略配置
在 CM界面HDFS的配置中找到,默认是循环法,改为可用空间法,其余参数参考下图 详解见:https://blog.youkuaiyun.com/mrczr/article/details/79752604原创 2019-01-22 19:30:02 · 624 阅读 · 1 评论