justlpf的专栏

参考文章：HBase、Kudu 和 ClickHouse 全视角对比前言Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些HDFS不足的地方。Clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。能够使用SQL查询实时生成分析数据报告。它同样拥有优秀的数据存储能力。Apache Kudu是Cloudera Manager公司16年发布的

参考文章：kudu :impala 和 kuduClient 的选择kudu 原生对impala 做了很好的兼容，用impala可以很方便的使用sql对kudu进行操作，我们在项目中是使用了 impala 和原生 kuduClient 相结合的方式进行。就查询来说，在我的使用过程中 impala 的查询速度要快于 kuduClient 的 scan。建议使用impala insert 的速度都很快upsert/update/delete如果用主键的话也都很快，但impala的并发性能比较差，..

参考文章：Kudu 原理、API使用、代码

参考文章：使用TPC-DS对kudu进行基准测试

参考文章：行式存储和列式存储优缺点和paruqet文件结构一、列式存储和行式存储的比较列式存储和行式存储是针对数据在存储介质中的排序形式而言的，假设存在一张table，那么：行式存储：依次连续存储第1、2、3...行的数据到存储介质中； 列式存储：依次连续存储第1、2、3...列的数据到存储介质中。图1-1所示为行式存储和列式存储的示意图，一张table包含5个字段（列）即rowid、date/time、customer name以及quantity，共7行，图中的红色箭头表示存储顺序

impala 和 kuduClient 的选择就查询来说，在我的使用过程中 impala 的查询速度要快于 kuduClient 的 scan。建议使用impala insert 的速度都很快 upsert/update/delete 如果用主键的话也都很快，但impala的并发性能比较差，所以这种操作尽量用 kuduClient 的原生 api 进行操作 原生 api update、delete、upsert 只能根据主键操作，如果需要其他条件则需要查询一下，拿到主键再进行操作，所以不如impa

参考文章：Kudu在使用过程中的各种限制主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列...

参考文章：kudu之spark操作

参考：kudu原理与使用5、KUDU的java操作5.1、导入依赖<dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</artifactId> <version>${kudu.version}&lt...

参考文章：KUDU&Impala基本操作使用impala对kudu进行DML操作kudu insert data api说明通过Java client等其他方式在kudu中创建了某个表,要想对该表进行操作,需要在impala中创建外部表,将其映射到impala当中SQL操作通过impala对kudu进行sql操作创建表(creat)：CREATE TA...

参考文章：CDH环境安装KUDU1.点击主机下面的Parcel2.点击KUDU对应的下载，下载完后点击分配，激活3.回到首页添加服务4.选择KUDU选择继续5.分配角色6.设置master和Tablet的路径7.配置impala支持KUDU7.1 点击impala7.2 点击配置7.3 找到KUDU服务，选择Kudu然后重启服...

1.安装前提和准备硬件：一台或者多台机器跑kudu-master。建议跑一个master(无容错机制)、三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 一台或者多台机器跑kudu-tserver。当需要使用副本，至少需要三个节点运行kudu-tserver服务。操作系统(主要是linux系统，windows系统不支持)：RHEL 6, RHEL ...

架构概述下图显示了一个具有三个 master 和多个 tablet server 的 Kudu 集群，每个服务器都支持多个 tablet。它说明了如何使用 Raft 共识来允许 master 和 tablet server 的 leader 和 follow。此外，tablet server 可以成为某些 tablet 的 leader，也可以是其他 tablet 的 follower。lea...

参考文章：kudu介绍及安装配置Kudu-Impala 集成特性CREATE/ALTER/DROP TABLEImpala 支持使用 Kudu 作为持久层来 creating（创建），altering（修改）和 dropping（删除）表。这些表遵循与 Impala 中其他表格相同的 Internal / external（内部 / 外部）方法，允许灵活的数据采集和查询。INSER...

参考：Kudu在使用过程中的各种限制主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列...

参考文章：Apache Kudu集群安装安装Kudu集群必须是奇数的集群，建议用一个主节点（无容错）或者三个主节点（可以允许容错一个），双主机部署无容错功能。集群环境：节点 主机名 角色 192.168.11.70 hnode1 Master Server、Tablet Server 192.168.11.71 hnode2 Master S...

使用方法：可通过Java client、C++ client、Pythonclient操作kudu表，但要构建client并编写应用程序； 可通过kudu-spark包集成kudu与spark，并编写spark应用程序来操作kudu表； 可通过impala的shell对kudu表进行交互式的操作，因为impala2.8及以上的版本已经集成了对kudu的操作。下面主要讲述基于impala的...

1. Kudu表结构设计最佳实践1) 字段设计字段数量最好不要超过300个。 除主键外，其他字段可以为空。 每一个字段均可以设置自己的编码以及压缩方式。 Kudu1.7.0及其高版本，已经支持Decimal字段类型，适用于金融和特定的算数运算场景。2)主键设计建表必须包含主键，主键字段必须列在Schema的最前端。 建表后，主键无法更改，只能重建表。 不支持自增列。 主键...

传统大数据应用场景分析在真实的场景中，边界可能没有那么清晰，面对既需要随机读写，又需要批量分析的大数据场景，该如何选择呢？这个场景中，单种存储引擎无法满足业务需求，大部分公司经常通过多种大数据工具组合来满足这一需求，一个常见的方案是：该方案可以满足数据更新+随机查询+批量分析的业务需求。如上图所示，数据实时写入 HBase，实时的数据更新也在 HBase 完成，为了应对 OL...

参考：kudu原理与使用1、 kudu简介1.1、kudu是什么简单来说:dudu是一个与hbase类似的列式存储分布式数据库。官方给kudu的定位是:在更新更及时的基础上实现更快的数据分析1.2、为什么需要kudu1.2.1、hdfs与hbase数据存储的缺点目前数据存储有了HDFS与hbase，为什么还要额外的弄一个kudu呢?HDFS:使用列式存储格式Apache ...

参考文章：kudu介绍文章内容来源于官网文档：http://kudu.apache.org/docs/index.html一、kudu介绍Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。1 功能上的空白Hadoop生...

参考文章：KUDU 介绍前言近两年，KUDU 在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU 都有着不可替代的地位。本文通过分析 KUDU 的设计， 试图解释为什么 KUDU 会被广泛应用于大数据领域，因为还没有研究过 KUDU 的代码，下面的介绍是根据 KUDU 的论文和网上的一些资料学习自己理解所得，如有不实之处，劳请指正。背景在 KUDU 之前...