weixin_48482704的博客

SqoopSqoop基本原理何为Sqoop？为什么需要用Sqoop？关系图架构图Sqoop可用命令Sqoop常用方法RDBMS => HDFSSqoop基本原理何为Sqoop？Sqoop(SQL-to-Hadoop)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型

Hive用户自定义函数一、前言1.1、简介1.2、准备工作1.3、编程步骤二、分类2.1、UDF2.2、UDAF2.3、UDTF三、扩展3.1、添加jar包方法3.2、自定义临时/永久函数一、前言1.1、简介Hive 自带了一些函数，比如：max/min 等，但是针对一些特殊业务，可能无法很好使用内置函数完成，自己可以通过自定义 UDF 来方便的扩展。当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。根据用

Hive常用函数查看函数用法数学函数集合函数日期函数条件函数字符串函数三级目录查看函数用法命令如下：desc function extended FUNC_NAME;数学函数集合函数日期函数条件函数字符串函数三级目录...

步骤一、Hadoop分布式环境搭建1.虚拟机环境准备2.安装jdk1.83.安装Hadoop一、Hadoop分布式环境搭建1.虚拟机环境准备准备一台虚拟机，操作系统centos7.x配置虚拟机的静态ip修改主机名为hadoop101并进行端口映射[root@master ~]# vi /etc/hostnamemaster[root@master ~]# vi /etc/hosts192.168.247.200 master此时需要重启机器 reboot关闭防火墙[roo

API使用一、准备工作1.1、解压1.2、环境变量1.3、新建工程1.4、依赖包1.5、测试1.6、注意事项二、使用方法2.1、HDFS 文件上传2.2、HDFS 文件下载2.3、HDFS 文件夹删除2.4、HDFS 文件名更改2.5、HDFS 文件详情查看2.6、HDFS 文件和文件夹判断2.7、HDFS 的 I/O 流操作2.7.1 文件上传2.7.2 文件下载2.8、定位文件读取一、准备工作1.1、解压解压 hadoop 安装包到非中文路径（例如：D:\users\hadoop-2.6.0-cd