程志伟的博客

关注微信公共号：小程在线关注优快云博客：程志伟的博客R语言连接Hive、hive的可视化工具最重要的就是找对相应的jar,我会在微信公共号上列出详细的jar名称，不必加载所有的jar包。一、R语言连接Hive1.设置工作目录，并加载需要的包setwd('F:\\00czw\\20200628hive\\')library('rJava')library('DBI')library('RJDBC')2.f变量加载的是jar包所在的目录，修改相应的地址，用户...

关注微信公共号：小程在线关注优快云博客：程志伟的博客　Hive sql是Hive 用户使用Hive的主要工具。Hive SQL是类似于ANSI SQL标准的SQL语言，但是两者有不完全相同。Hive SQL和Mysql的SQL方言最为接近，但是两者之间也存在着显著的差异，比如Hive不支持行级数据的插入、更新和删除，也不支持事务操作。　　注: HIVE 2.*版本之后开始支持事务功能，以及对单条数据的插入更新等操作Hive的相关概念Hive数据库　　　　　Hive中的数据库从本质上来

关注微信公共号：小程在线关注优快云博客：程志伟的博客我在本机上已全部实现，下面是在我自己电脑上的截图1.虚拟机镜像下载：要是自己安装linux后再搭建环境可是相当麻烦的，所以我们要找别人已经配好的虚拟机。功夫不负有心人，找了很多资源之后终于找到了好用且免费的虚拟机镜像。【镜像下载地址】https://pan.baidu.com/s/1kUWaNWz#list/path=%2F（需要安装百度云盘客户端，文件大小是6GB）【镜像说明】此镜像是使用VirtualBox虚拟..

关注微信公共号：小程在线关注优快云博客：程志伟的博客1.分区排序（Distribute By）Distribute By： 类似 MR 中 partition， 进行分区， 结合 sort by 使用。注意， Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。对于 distribute by 进行测试， 一定要分配多 reduce 进行处理， 否则无法看到 distribute by的效果。案例实操：（1） 先按照部门编号分区， 再按照员工编号降序排序。

关注微信公共号：小程在线关注优快云博客：程志伟的博客需要的工具是：shell 下载地址：https://download.zol.com.cn/tuiguang/detail/36/359035.shtmlxftp 下载地址：https://download.zol.com.cn/detail/37/362543.shtml根据自己hive设置对应的地址与端口；登陆自己的账号与密码；创建表结构的示例如下：createtableifnotexiststest....

关注微信公共号：小程在线关注优快云博客：程志伟的博客一、介绍分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化！到底什么是数据窗口？后面举例会详细讲到！1. 基础结构：分析函数（如:sum(),max(),row_number()...） + 窗口子句（over函数）12. over函数写法：　　over（partition by c

Hive常用函数大全一览1 关系运算 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: < 1.4 4、小于等于比较: <= 1.5 5、大于比较: > 1.6 6、大于等于比较: >= 1.7 7、空值判断: IS NULL 1.8 8、非空判断: IS NOT NULL 1.9 9、LIKE比较: LIKE 1.10 10、JAVA的LIKE操作: RLIKE 1.11 11、REGEXP操作: R...

关注微信公共号：小程在线关注优快云博客：程志伟的博客一、创建数据库1.创建一个新的库hive > create database cheng;2.使用哪个库hive > use cheng;3.避免要创建的数据库已经存在错误， 增加 if not exists 判断;hive > create database cheng;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.

各位朋友，我已开通微信公共号：小程在线我会把文章及时的更新到公共号上，欢迎大家的关注。1.使用hive创建表：create table employees > ( > name string, > salary float, > subordinates array<string>, > deduc...