阿济1907-优快云博客

原创 Sqoop的基础用法

Sqoop1. 简介Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop从关系数据库管理系统（RDBMS）（例如MySQL或Oracle）或大型机将数据导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS 。Sqoop依靠数据库描述要导入的数据的模式来自动执行此过程的大部分过程。Sqoop使用MapReduce导入和导出数据，这提供了并行操作以及容错能力。2. 安装[root@qphone

2020-07-28 21:16:05 335

原创 JAVA中关于文件的移动和复制

package com.day21.test;import java.io.*;/** * 将文件移动或者复制到其他地方 */public class Test2 { public static void main(String[] args) { File start = new File("E:\\111.txt"); File end = new File("E:\\1\\01 linux"); File end2 = new Fi

2020-07-21 20:09:24 284

原创 Hbase的过滤器

Hbase的过滤器1. 导入依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.1</version> </dependency></depend

2020-07-15 21:51:30 323

原创 Hive的分区分桶

Hive的分区分桶1. Hive的分区1.1 分区的概念hive的分区就是在表目录下建立子目录,方便查找和关理1.2 静态分区静态分区就是自己动手指定分区的值。1.2.1 建立分区表create table if not exists t_part(id int,name string,age int)partitioned by (birth string)row format delimitedfields terminated by ','stored as text

2020-07-09 08:06:57 227

原创 Hive的基础语法

Hive的基础语法1. DDL1.1 DataBase--创建数据库语法CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; e.g.create database if not exists hivecomment 'the 1st

2020-07-09 07:56:34 387

原创 Hive：内置函数

Hive内置函数内置函数：自定义函数：UDF : 用户自定义函数（重点）UDAF : 用户自定义聚合函数UDTF : explode帮助命令show functions 查看hive中所有的内置函数desc function func_name 查看具体的函数的使用方式1. 数值函数--1 round(x[,d]):将一个小数四舍五入(x为数字，d为取几位小数)hive (hive)> select round(3.55);OK4.0hive (hive)&g

2020-07-06 19:50:56 503

原创 Hive:数据类型及其基础使用

Hive:数据类型及其基础使用1. Array1.在建含有数组的表时，数组字段的类型为array<string>2.需要指定数组中的元素分隔符，下面使用 "," 来分隔 collection items terminated by ','3.通过xxx[index] 选取某个数组中的元素，其中xxx为数组字段名，index为下标。– 举例：1）数据：重庆市渝中区,江北区,南岸区,沙坪坝区,九龙坡区,渝北区,大渡口区,巴南区,北碚区山西省太原市,大同市,忻州市,运城市,晋中

2020-07-04 11:37:40 1017

原创 jdbc笔记（I）

jdbc一、jdbc的简介： Sun公司参考了ODBC方案，制定了一组专门为java语言连接数据库的通用接口JDBC。方便了java开发人员，开发人员不需要考虑特定的数据库的DBMS。JDBC不直接依赖于DBMS，而是通过驱动程序将sql语句转发给DBMS，由DBMS进行解析并执行，处理结果返回。 jdbc的原理 jdbc中常用的接口和方法名称类型作用方法（主要使用）DriverManager方法连接数据库，返回Connection对象getCon

2020-05-26 23:02:08 211

qq_43697577的博客