- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark 基础解析 （二） spark的安装与配置
目录一.Spark 安装地址1.官网地址2.文档查看地址3.下载地址二.Spark 运行模式三.Spark 安装1.在官网下载spark安装包2.上传至Linux环境并解压安装3.修改配置文件4.启动5.测试6.Spark Shell下一节一.Spark 安装地址1.官网地址http://spark.apache.org/ 2.文档查看地址https://spark.apache.org/docs/2.1.1/ 3....
2021-12-27 16:36:19
1688
原创 Spark 基础解析（一）spark概述
目录一、spark是什么？1.定义2.历史二、spark 内置模块三、spark 特点下一节一、spark是什么？1.定义 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。2.历史2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写。 2010年开源; 2013年6月成为Apache孵化项目；2014年2月成为Apache顶级项目。二、...
2021-12-27 11:22:41
210
原创 hive 使用UDF函数生成流水号
流水号组成：公司代码 + 日期（YYYYMMDD） + 10位流水，流水号是每天的流水号，每天都是从‘0000000001’开始。其中日期为上月最后一天日期。1.UDF函数首先建一个maven工程，在pom.xml导入依赖包pom.xml<dependencies> <!--添加hadoop依赖--> <dependency> <groupId>org.apache.hadoop&l
2021-07-22 14:49:42
435
1
原创 使用shell脚本执行hive查询并将结果输出到本地文件
简单实用的脚本分享。关于hive命令的3种调用方式:（1）hive –f file.sql（适合多语句）（2）hive-e 'sql语句'（适合短语句）（3）hive（直接使用hive交互式模式）方式一：1.准备hive查询语句//创建文本文件touch read.sql//加入要执行的hive查询语句，例：show databases;show tables;use default;select * from test01;2.执行并查看结果...
2021-07-20 16:11:18
4160
2
原创 Hive 使用UDF函数对数据SM3加密
最近在工作中需要对hive中某些数据进行SM3加密，在网上找了很久，遇到一些坑，在这里分享。例：取姓名第一个汉字后接身份证号进行SM3加密。1.SM3工具类pom.xml:<!--sm3,sm4加密算法--> <dependency> <groupId>org.bouncycastle</groupId> <artifactId>bcprov-jdk15on&
2021-07-16 18:17:27
3338
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人