- 博客(15)
- 收藏
- 关注
RSS订阅转载 sqoop参数详解
1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。2. codegen将关系数据库表映射为一个Java文件、Java class类、以及相关的jar包，作用主要是两方面：1、 将数据库表映射为一个Java文件，...
2018-09-07 10:49:56
13195
转载 Hive数据类型
Hive到0.13.0版本为止已经支持越来越多的数据类型，像传统数据库中的VCHAR、CHAR、DATE以及所特有的复合类型MAP、STRUCT等。Hive中的数据类型可以分为数值类型、字符串类型、日期时间类型、复合类型以及其它类型，下面分别予以介绍。数值类型 Hive中的数值类型与Java中的数值类型很相似，区别在于有些类型的名称不一样，可以概括为如下...
2018-08-22 11:13:40
284
转载 HDFS基本命令
HDFS常用命令： 注：以下执行命令均在spark安装目录的bin目录下。 path 为路径 src为文件路径 dist 为文件夹 1、-help[cmd] 显示命令的帮助信息./hdfs dfs -help ls12、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹./hdfs dfs -ls /log/map./hdfs dfs -lsr /log/ ...
2018-08-22 11:09:32
282
转载 SQL去除回车符，换行符，空格和水平制表符
SQL去除回车符，换行符，空格和水平制表符，参考下面语句，一般情况是SQL接受富文本或是textarea的内容。在数据库接收到这些数据之后，还是对其做一些处理。 REPLACE(REPLACE(REPLACE(REPLACE([fieldName],CHAR(13),''),CHAR(10),''),CHAR(9),''),' ','') 其中：char(9) 水平制表符 cha...
2018-08-22 10:40:31
9201
1
转载 sqoop导入
大数据技术之Sqoop 一、Sqoop简介Sqoop是hdfs、hive、hbase和RDBMS结构化数据库之间传输大量数据的工具。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoop安装安装Sqoop的前提是已经具备Java和Hadoop...
2018-08-20 10:28:20
737
转载 mysql 中 GROUP_CONCAT()函数
mysql 中 GROUP_CONCAT()函数，主要用来处理一对多的查询结果，通常会结合GROUP BY一起使用。语法：1 GROUP_CONCAT([DISTINCT] expr [,expr ...]2 3 [ORDER BY {unsigned_integer | col_name | expr}4 5 [A...
2018-07-19 13:51:18
919
转载 数据仓库中的拉链表（hive实现)
数据仓库中的拉链表（hive实现)前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。全文由下面几个部分组成： 先分享一下拉链表的用途、什么是拉链表。 通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。 举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现...
2018-07-17 16:23:24
18334
11
转载 SQL 使用WITH AS
一．WITH AS的含义 WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。有的时候，是为了让SQL语句的可读性更高些，也有可能是在UNION ALL的不同部分，作为提供数据的部分。 特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同...
2018-07-17 15:49:07
3714
转载 sql server2008系统sys.开头的表详细说明
一、库里有多少个表，表名等select * from INFORMATION_SCHEMA.TABLES二、查询表、字段、类型、是否主键、长度、小数位、是否允许空、默认值等详细查询效果：SELECT (case when a.colorder=1 then d.name else '' end) as 表名,--如果表名相同就返回空 a.color...
2018-07-17 15:21:33
4674
2
转载 Hive的数据存储
阅读数：1070Hive的数据分为表数据和元数据，表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。下面分别来介绍。一、Hive的数据存储在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格...
2018-07-16 09:35:05
7675
转载 Hadoop Hive HQL语法详解
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL ...
2018-07-13 14:43:30
1049
转载 Hive
Hive查询1、hive模糊搜索表show tables like '*name*';2、查看表结构信息desc formatted tablename;desc table_name3、查看分区信息show partitions tablename;4、根据分区查询数据select table_coulm from tablename where partitionname = '2016-...
2018-07-13 14:40:26
3098
原创 serversql存储过程/触发器
1创建存储过程： create proc/procedure 存过名称 @参数 数据类型 output/input as sql语句 go2修改存储过程alter proc/procedure c存过名称 @参数 数据类型 output/input as sql语句 go...
2018-07-13 14:03:18
159
原创 sqlserver 常用函数
变量：使用select 语句进行正确赋值的前提条件是查询的返回值是唯一的，如果在一个查询中返回多个值，则只有最后一个查询结果被赋予了变量字符串函数： ASCII 返回字符串表达式最最左字符的ASCII代码值 char 将int类型的ASCII转换成字符 例如：char(64) ->A charindex 返回字符串...
2018-07-13 11:50:10
5020
1
原创 sqderverl学习笔记
1 数据库分离与附加2 创建表语法 create table 表名称 （列名1 数据类型 identity（1，3） ， 列名2 数据类型 not null） identity 参数为自增编号字段，例如：identity（1，3）意思是编号起始位置为1，每次自增33 修改表结构： a.添加新列 alter table 表...
2018-07-13 09:18:35
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人