erinapple的博客

总结： insert into只是简单的插入操作，而insert overwrite 会覆盖之前的数据insert into 和overwrite的用法：INSERT INTO TABLE tablename1 [PARTITION \(partcol1=val1, partcol2=val2 ...)] \select_statement1 FROM from_statement;INSER...

limit 0,1, 从你的表中的第0个数据开始，只读取一个；我们再看下mysql解释sql语言时的执行顺序：(7) SELECT (8) DISTINCT <select_list>(1) FROM <left_table>(3) <join_type> JOIN <right_table>(2) O...

Hive数据库和表 在HDFS上的目录, 表数据是HDFS上的文件加载本地文件到Hive表中--使用存储介质（移动硬盘）加载数据到表格中load data local inpath '/home/taojiamin/data/student.txt' into table student;加载HDFS文件到Hive表中 --通过Flume等日志收集框架仅仅是没有local而已,特点:加载hdfs数...

##方式一 create + loadcreate [external] table table_name(col1_name col1_type,...coln_name coln_type)row format delimited fields terminated by '\t';//load加载数据load data [local] inpth '本地文件(linux)/HDFS' [ov...

hive的数据导出方式hive有三种导出数据的方式》导出数据到本地》导出数据到hdfs》导出数据到另一个表 导出数据到本地文件系统insert overwrite local directory '[desFile]' select * from [srcFile]; 例： insert overwrite local directory '/home/wyp/wyp' select * from...

show tables;是查看有哪些表desc tablename;是查看有哪些字符段，数据类型SQL 中的 TRIM 函数是用来移除掉一个字串中的字头或字尾。最常见的用途是移除字首或字尾的空白。这个函数在不同的资料库中有不同的名称：MySQL: TRIM( ), RTRIM( ), LTRIM( )Oracle: RTRIM( ), LTRIM( )SQL Server: RTRIM( ), L...

hive 表分区操作    hive的数据查询一般会扫描整个表，当表数据太大时，就会消耗些时间，有时候我们只需要对部分数据感兴趣，所以hive引入了分区的概念   hive的表分区区别于一般的分布式分区（hash分区，范围分区，一致性分区），hive的分区是比较简单的。他是根据hive的表结构，分区的字段设置将数据按目录存放起来，相当于简单的索引   hive表分区需要在表模式创建的时候指定模式才...

hive 普通创建表和跟新列操作创建表CREATE TABLE if not exists student ( student_id int, sex int, address String, email String)这里需要注意的是，虽然hiveSL类似sql语言，但是他们有很多需要注意的地方，不能直接使用符号，比如“'”,“;”这些，分号，hdfs认为是结束的符号。要使用这...

需求是从数据库查数据，在前端以柱形图的形式展现出来，查到的数据按行业分组，显示每个行业的户数及户数占比，涉及到的字段有A表的用户数、总用户数和B表的行业名称。本来是不管查不查的到数据，在X轴都应该显示行业名称的，结果是X、Y轴都没有任何数据显示。问题就是我用错了联结方式。一、sql的left join 、right join 、inner join之间的区别　　left join(左联接) 返回包...

查看表结构信息  desc formatted table_name;  desc table_name;查看分区信息  show partitions table_name;查看hdfs文件信息  dfs -ls /user/hive/warehouse/table_name;hive之于数据民工，就如同锄头之于农民伯伯。hive用的好，才能从地里（数据库）里挖出更多的数据来。用过hive的朋友...

hive的分区和分桶2016年10月26日 09:50:38阅读数：39991、Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。 Hive可以对数据按照某列或者某些列进行分区管理，所谓分区我们可以拿下面的例子进行解...

Hadoop Hive sql语法详解4--DQL 操作:数据查询SQL2018年05月14日 09:07:13阅读数：16链接1.基本的Select 操作如何实现？2.基于Partition的查询如何实现？3.如何实现join，是否支持左连接，右连接？4.hive数据如何去重？5.ORDER BY 是否全局排序，只有一个Reduce任务？6.SORT BY 是否全局排序？7.hive是否支持ex...

concat()函数1 MySQL的concat函数可以连接一个或者多个字符串,如select concat('10');//10select concat('11','22','33');//112233123而Oracle的concat函数只能连接两个字符串,不能多也不能少select concat('11','22') from dual;12 MySQL的concat函数在连接字符串的...

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇...

 trunc（value,precision）按精度(precision)截取某个数字,不进行舍入操作。2 round（value,precision）根据给定的精度(precision)输入数值。3 ceil (value) 产生大于或等于指定值（value）的最小整数。4 floor（value）与 ceil（）相反，产生小于或等于指定值（value）的最小整数。5 sign(value) 与...

ALTER TABLE 语句ALTER TABLE 语句用于在已有的表中添加、修改或删除列。SQL ALTER TABLE 语法如需在表中添加列，请使用下列语法:ALTER TABLE table_nameADD column_name datatype要删除表中的列，请使用下列语法：ALTER TABLE table_name DROP COLUMN column_name注释：某些数据...

SQL SQRT函数用来找出任何数的平方根。您可以使用SELECT语句来找出任何数的平方根如下：SQL> select SQRT(16);+----------+| SQRT(16) |+----------+| 4.000000 |+----------+1 row in set (0.00 sec)你所看到的是浮点值，因为在这里SQL内部操纵会平方根浮点数据类型。POW(X...

、    控制hive任务中的map数:1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.    举例：a)    假设input目录下有1个文件a,大小为780...