zy103118的博客

原文地址：如何比较Hive，Spark，Impala和Presto？ - 知乎原文的翻译多少有点瑕疵Spark，Hive，Impala和Presto是基于SQL的引擎，Impala由Cloudera开发和交付。在选择这些数据库来管理数据库时，许多Hadoop用户会感到困惑。Presto是一个开放源代码的分布式SQL查询引擎，旨在运行甚至PB级的SQL查询，它是由Facebook人设计的。Spark SQL是一个分布式内存计算引擎，它的内存处理能力很高。Hive也由Apache作为查询引擎...

原文链接：什么是数据湖技术 - xuzhujack - 博客园 数据湖(Data Lake)是Pentaho公司创始人及CTO James Dixon于2010年10月在2010年10月纽约Hadoop World大会上提出来的一种数据存储理念—即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库，可以在其中存储任意规模的结构化和非结构化数据。在数据湖中，可以存储不需要对其进行结构化的数据，这样就可以运行不同类型的分析。简单表述总结为以下8点：1) 数据湖需要提供足够...

离线分析的概念：离线分析指不在生产系统上直接做数据处理，把生产系统上的数据导入另外一个专门的数据分析环境（数据仓库中），跟生产系统脱离的情况下对数据进行计算跟处理,离线数据分析处理的数据不是实时的，因为实时生产系统的数据导入到数据仓库中需要时间，计算出结果也需要时间，所以hadoop处理的离线数据跟一手的实时数据之间会有时间差，hadoop不适合做oltp式应用，也不适合做实时数据分析处理，hdfs是半只读，只能插入追加数据,不能修改数据，hadoop不是数据库，不支持事务的概念，hadoop不适合做实

jps为java process 之意代表查看目前本机上有多少个java进程已经启动，且显示这些java进程的别名是什么jps是jdk提供的一个工具来查看本机jvm中启动了哪些java进程篇外话：如何杀掉一个java进程...

ls -a才能看见隐藏目录.ssh里面放着刚才用ssh-keygen -t rsa 指令生成的秘钥对儿id_rsa是私钥id_rsa.pub是公钥查看公钥文件如下：将刚才生成的公钥文件复制到远程要想要无密码登录的那台目标主机对应的ssh登录身份认证目录下的身份认证信息库文件中（注意前提是目标机在对应目录下要有.ssh目录，这个可以事先通过以上的ssh-keygen -t rsa命令在远程要登录的目标机上跑一边就也会有.ssh目录在默认位置上生成）注意：author...

NameNode节点是HDFS体现下的对HDFS上数据块路由和对管辖数据块的DataNode节点进程路由的主路由器节点，负责对HDFS数据块和DataNode进程节点的寻址信息的记录与读取JobTracker进程；负责将MapReduce体系下的分布式计算任务 一个Job打散成多个Task，每一个Task分配给相应的TaskTracker进程去执行，JobTracker进程调度TaskTracker进程进行分布式计算和计算结果的回收与汇总JobTracker是MapReduce体系框架下的工作任..

离线分析的概念：离线分析指不在生产系统上直接做数据处理，把生产系统上的数据导入另外一个专门的数据分析环境（数据仓库中），跟生产系统脱离的情况下对数据进行计算跟处理,离线数据分析：处理的数据不是实时的，因为实时生产系统的数据导入到数据仓库中需要时间计算出结果也需要时间，所以hadoop处理的离线数据跟一手的实时数据之间会有时间差，hadoop不适合做oltp式应用，也不适合做实时数据分析处理，hdfs是半只读，只能插入追加数据不能修改数据，hadoop不是数据库，不支持事务的概念，hadoop不适合做实

在主节点上执行ssh-keygen -t rsa一路回车，生成无密码的密钥对。用ssh-copy-id把公钥复制到远程主机上（注意本机也要复制, 最好每台都做）ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh1ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh2ssh-copy-id -i ~/.ssh/id_rsa...

关闭防火墙：service iptables stop （临时关闭）chkconfig iptables off （重启后生效）关闭SELINUX：setenforce 0 （临时生效）修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）vi /etc/selinux/config将SELINUX 的值改为 disa...

CREATE TABLE fact_cpusup_qualify ( sup_qualify_id BIGINT COMMENT '供应商资质id', qualify_type_id BIGINT COMMENT '资质类型id', qualify_type_name string COMMENT '资质类型名称', qualify_id BIGINT COMMEN...

遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.youkuaiyun.com/qq_22222499/article/details/81463516 hive 日期函数 增加月份 add_months(timestamp date, int months) add_months(tim...

alter TABLE fact_cpu_supply_category add columns(supplier_name string COMMENT '供应商名称');ALTER TABLE fact_cpu_supply_category CHANGE supplier_name supplier_name STRING AFTER doc_id;注意在impala中a...

Impala 实现在指定位置添加列今天在数据脱敏的工作中碰到一个需求：将数据仓库中的用户画像的phone字段以及该字段下的数据全部删除1. 错误示范：impala里面直接删除该列ALTER TABLE name DROP [COLUMN] column_name如ALTER TABLE dmr.edu_user_profile DROP COLUMN user_p...

转载来源：http://bbs.youkuaiyun.com/topics/330003174数据仓库之ETL漫谈2013-01-14 19:11:22heqiyu34阅读数 9940更多分类专栏：OracleETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->...

原文位置：https://baike.baidu.com/item/ODS/15146368?fr=aladdinODS（操作数据存储）编辑讨论操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数...

原文链接：www.cloudera.com转载自Cloudera Manager 官方文档Cloudera Manager Installation Guide,可上www.cloudera.com上下载一旦点击继续CDH软件组件将会被下载并从parcle包中分发到集群中的所有节点计算机上...

jdbc->impala->hdfs|hbase|kudu

转载自这本电子文档

更精确的方法更精确的大小估计不仅需要每分钟查询（qpm），还需要每个查询（d）显示的平均数据大小。使用适当的分区策略，D通常是总数据大小的一部分。下面的方程可作为估计所需节点数（n）的粗略指南。举个例子：假设一个查询平均扫描50GB的数据，当有100个并发查询时，平均响应时间要求为15秒qpm为（100/15）*60=400。我们可以用上面的方程来估计节点的数目。因为这个...

impala可以处理多个大型表之间的连接。确保统计是来自于所有连接表们的信息。然而，连接多个大表查询确实会消耗比较多的内存。按照以下步骤可以计算最小内存需求假设表B小于表A（但仍然是一个大的表），查询的内存需求是右表（B），在解压、过滤和投影（仅使用某些特定列）之后，必须小于整个集群的总内存。集群总内存需求=连接查询中数据量小的表的数据总量*谓词查询因子*投影运算因子*压缩算...

impalad = impala daemon 是impala 查询引擎 守护进程impala 是个 大数据查询语言 通过impalad 的解析和转译 可以被解析翻译成hdfs, 或 hbase 或 kudu上可用的高效查询指令,impala的语法和sql语法极为相似impala server的概念和mpp的概念（转载自官方文档）impala daemon的具...

Impala是 Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在 Hadoop的HDFS和Hbase中的PB级大数据。 Impala1l.0版比原来基于 Mapreduce I的 Hive SQL查询速度提升3~90倍,因此,Impala有可能完全取代 Hive，成为一种类SQL语法的分析查询技术。Impala是为了在 Hadoop上实现低延迟的SQL查询而设计...

查看一个日期是第几周和星期几日期计算查询指定日期是多少号查询两个日期差了多少天查询当前时间时间戳常量和隐式转换...

存储在元数据厍中的数据库对象的元数据事impala寻找业务数据的基础寻址字典。 Impala和Hive的元数据保持兼容,在Hive中创建的表可以在 Impala中使用,反之亦然。当 Impala使用 CREATE、 ALTER、 INSERT、LOAD DATA等改变模式对象（数据库中的概念对象）时,所有的元数据的变化将会通过 catalog服务（catalog service目录服务）把变化广播...

create table test (x int, y string) stored as kudu——————————————————————————————create table test (x int, y string) stored as textfile________________________________________下面是在parquet文件上建立分区...

Cloudera Manager在整个集群上自动安装和配置CDH，只需要您具有集群计算机的根SSH访问权，以及对所有这些计算机的Internet互联网或本地存储库（一个本地安装文件存放的目录）（此本地存储库中应包含所有安装hadoop及组件的相关安装文件）的访问权。Cloudera Manager的作用包括：一个小型的自执行Cloudera Manager安装程序，用于安装...

Cloudera Manager是一个服务器程序软件，它应该被安装在一个你想自动运行Cloudera Manager Server这个服务器进程的那台计算机上，即Cloudera Manager安装程序将自动安装在希望ClouderaManagerServer进程运行的主机上。安装CM有以下前提条件1 Linux上必须有CM的软件安装包，和jdk的软件安装包2 Linux上必须安装j...

你必须安装一个CM支持的数据库（比如：MySql） 这个数据库可以安装在和Cloudera Manager Server 进程在同一台机器上 或者一台Cloudera Manager Server 可以访问到的机器上 ，你将需要配置Cloudera Manager Server 和这个数据库之间的连接额外红字的注意事项我就不翻译了大概意思就是，使用mysql和Cloudera...

Impala使用Hive运行 ANALYZE TABLE语句生成的信息,Hive生成的统计信息是不可靠的,而且不易使用。 Impala的 COMPUTE STATS语句基于底层编码,大大提高了可靠性。 COMPUTE STATS不需要特别的安装或配置。Hive需要使用单独的 ANALYZE TABLE语句分别统计表和列统计信息, Impala只需使用一个单条语句 COMPUTE STATS语句即可...

注意：当在HDFS上利用impala来创建内部表和外部表都是建立在HDFS文件系统之上默认不指定的情况下Impala创建的是内部表, Impala负责管理表和它关联的底层的数据文件。当我们删除impala内部表的时候, Impala会自动的删除该内部表对应的物理数据文件。如果我们指定 EXTERNAL子句, Impala将创建一张外部表。外部表对应的数据文件并非由Impa创建与管理。外部表创建...

如果要该表存储格式 指定一下STORED AS file_format的格式即可，据说impala 不能够通过建表语句直接创建HBASE的表（我没试验过），但可以通过该克隆语句来复制并创建HBASE表结构，大家有需要可以试一试注意CRATE TABLE...LIKE仅仅复制表结构和主题元数据信息（表结构定义信息而不复制寻址信息，新建一个表就有自己独特的寻址信息） （仅仅复制表结构中的列定义...

DESCRIBE table_name格式的语句。如果要了解像数据文件位置,ROWFORMAT或 STORED AS对应的值这些详细的信息,可以使用 DESCRIBE FORMATTED table_name。可以看到表的注释信息。compute stats统计表信息 （impala查看表统计信息）analyze table 查看表统计信息 （hive 查看表统计信息）...

impala持如下类型转换函数:cast(expr as type)该函数一般与其他函数一起使用,用于将其他函数返回的结果转换为指定的数据类型。 Impala对函数输入参数的类型有严格的规定。例如, Impala不能自动将 DOUBLE转换为 FLOAT类型,不能将BlGINT类型转换为INT类型等。impala不会自动实现从高精度到低精度的转换。当输入参数的类型不是 Impala要求的类型时,需...

concat (string a, string b）该函数将所有输入参数拼接在一起返回一个单个字符串concat_ws(string sep, string a, string b.....)该函数用于将各输入参数以指定的分隔符连接在一起。返回类型为 string。find_in_set(string str, string str_list)返回一个字符串在一个逗号分...