- 博客(45)
- 收藏
- 关注
RSS订阅原创 oracle传入两个参数的的replace函数替换成hive方式
oracle2个参数的replace转换成hive实现。对于concat函数中加“\”分隔符需要使用6转义符。
2023-07-11 19:59:25
931
原创 Linux中双小括号，双中括号用法总结
①整数扩展。这种扩展计算是整数型的计算，不支持浮点型。((exp))结构扩展并计算一个算术表达式的值，如果表达式的结果为0，那么返回的退出状态码 为1，或者 是"假"，而一个非零值的表达式所返回的退出状态码将为0，或者是"true"。若是逻辑判断，表达式exp为真则为1,假则为0。#输出0（0是退出状态，要与返回值(为真)区别，可以理解为正常退出）((1<1))echo $?#输出一个正整数。
2023-03-14 22:39:39
1634
原创 使用SparkStreaming时Jackson报错java lang ClassNotFoundException com fasterxml jackson core
java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.Module，com.fasterxml.jackson.databind.Module
2023-01-31 20:48:02
2685
1
原创 Spark3.x报错Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9
Spark3.x报错Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9
2023-01-31 19:36:50
1418
原创 Exception in thread “main“ java.net.ConnectException: Call From hadoop101/192.168.10.12 to hadoop101
Exception in thread "main" java.net.ConnectException: Call From hadoop101/192.168.10.12 to hadoop101:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
2023-01-27 16:06:59
2353
2
原创 HIve 导入分桶表数据报错Load into bucketed tables are disabled for safety reasons. If you know what you are do
HIve 导入分桶表数据报错SemanticException Please load into an intermediate table and use 'insert... select' to allow Hive to enforce bucketing. Load into bucketed tables are disabled for safety reasons. If you know what you are doing, please sethive.strict.checks.
2023-01-16 19:16:27
337
原创 HIve中count（1），count（*），count（字段名）三种统计的区别
HIve中count（1），count（*），count（字段名）三种统计的区别
2023-01-16 13:20:32
2041
原创 Hive beeline客户端启动报错Could not open client transport with JDBC Uri: jdbc:hive2://hadoop101:10000: Fail
Hive beeline客户端启动报错`Could not open client transport with JDBC Uri: jdbc:hive2://hadoop101:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): Use
2023-01-14 17:37:55
4187
原创 mysql获取当前时间
** Mysql获取当前时间– 今天**SELECT DATE_FORMAT(NOW(),’%Y-%m-%d 00:00:00’) AS ‘今天开始’;SELECT DATE_FORMAT(NOW(),’%Y-%m-%d 23:59:59’) AS ‘今天结束’;– 昨天SELECT DATE_FORMAT( DATE_SUB(CURDATE(), INTERVAL 1 DAY), ‘%Y-%m-%d 00:00:00’) AS ‘昨天开始’;SELECT DATE_FORMAT( DAT
2022-03-17 17:18:07
4338
原创 Spring AOP切点表达式用法总结
Spring AOP切点表达式用法总结简介面向对象编程，也称为OOP（即Object Oriented Programming）最大的优点在于能够将业务模块进行封装，从而达到功能复用的目的。通过面向对象编程，不同的模板可以相互组装，从而实现更为复杂的业务模块，其结构形式可用下图表示：业务模块 面向对象编程解决了业务模块的封装复用的问题，但是对于某些模块，其本身并不独属于摸个业务模块，而是根据不同的情况，贯穿于某几个或全部的模块之间的。例如登录验证，其只开放几个可以不用登录的接口给用户
2021-12-23 21:58:58
384
原创 Springboot搭建restful接口读取MySql数据
目录一 需求二 pom依赖三 application配置文件四 接口实现1 分层2 实现1 Entity层2 Controller层3 Service层3 Service实现类4 Dao层5 启动类3 注意事项一 需求实现一个restful接口去读取mysql中的数据，按照日期去读取每5分钟的数据二 pom依赖 <!--jdbcTemplate支持--> <dependency> <groupId>org.springfr
2021-09-25 00:37:12
565
原创 Spark架构设计
spark架构设计1 角色名称Client,Driver program,cluster manager/Yarn，workerNode2 角色作用client：用户通过client提交application程序，shell命令等Driver：启动sparkContext环境，将application程序转换成任务RDD和DAG有向图，与clustermanger进行资源交互，分配task给workerNodecluster manger:作为spark的资源管理者，存储所有工作节点的元数据，.
2021-09-09 11:14:10
556
原创 数据仓库架构设计
一角色名称以及作用源数据落地区 位于hdfs原始数据以大文件的形式存放数据仓库层源数据层 将原始数据导入到的hive数据表中生产系统的原始数据，清洗掉不符合质量的数据，通常永久保留细节数据层 按照主题进行组织，数据粒度与源数据层一样汇总数据层 将细节数据层的数据进行轻度汇总，数据粒度与细节数据层保持一致数据集市层 数据管理平台，数据报表，数据挖掘等水平分层 只是描述数据仓库层垂直分主题数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并且导入的数据必须经过.
2021-09-08 21:07:14
523
原创 Hive分区分桶
场景：例如网站的日志文件，微博博文统计按日期存放等，数据量巨大的情况，分区查找提高查询效率，分桶是对分区更细粒度的划分，为什么要分桶？在分区数量过于庞大以至于可能导致文件系统崩溃时，我们就需要使用分桶来解决问题了在数据量足够大的情况下，分桶比分区，更高的查询效率。索引 ：空间换时间 分区：时间换空间索引和分区最大的区别就是索引不分割数据库，分区分割数据库。索引其实就是拿额外的存储空间换查询时间，但分区已经将整个大数据库按照分区列拆分成多个小数据库了。分区和分桶最
2021-09-08 11:07:40
284
原创 Hive架构设计总结
一角色名称user interface,Metestore,hiveserver2,Driver二角色作用userInterface分为，hiveCli,hiveClient,hwi，其中最常用的是cli，cli启动的时候，会同时启动一个hive副本。client是hive的客户端，用户连接至hiveserver,在启动client模式的时候需要指出hiveserver所在节点，并在该节点启动hiveserver,作为用户与hive交互的窗口。metestore用于存储元数据，包括表库分区信息，.
2021-09-08 10:49:12
189
原创 Yarn架构设计
角色名称ResourceManager、NodeManager、ApplicationMaster和Container角色作用Client：面向用户提交的Driver代码，作为用户编程的接口，与ResourceManager交互。ResourceManager：整个集群只有一个是存活(active)的，负责集群资源的统一管理和调度负责整个集群的资源分配和调度处理来自客户端的请求，启动、杀死应用程序启动、监控ApplicationMaster，一旦一个AM挂了之后，RM将会在另一个Node..
2021-09-07 22:25:23
159
原创 mapreduce架构设计
1 首先用户提交作业代码，进行源数据切片处理2 master调用worker执行map任务3 worker载入源数据切片4 worker执行map任务，并将结果保存到本地。5 master调用worker执行reduce任务 reduce worker读取map的输出结果6 worker执行reduce任务，并将结果保存到HDFS...
2021-09-07 21:51:28
103
原创 大数据开发面试题总结（2021.9.6--）
1 shell脚本局部变量和全局变量 local定义局部变量2 hive建表未分区，数据是分区的 怎么装载？ alter/msck修复分区 msck repair3 shell脚本日期格式化 例 202109061919 echo date '+%Y%m%d-%H%M%S'4 java多线程高并发 怎么优化，设置最大线程数量5 Hbase 和hivesql的查询语句的区别是什么Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎，并且运行MapRedu
2021-09-07 19:58:24
399
原创 HDFS架构设计
架构设计一 角色名称及作用NameNode(简称NN)1 HDFS元数据管理者，管理NameSpace(文件系统命名空间)，记录文件是如何分割成数据块以及他们分别存储在集群中的哪些数据节点上。2 NameSpace或其本身属性的任何更改都由NameNode记录，维护整个文件系统的文件和目录。DataNode(简称DN)DataNode是文件系统的工作节点。根据客户端或者NameNode发送的管理指令，负责HDFS的数据块的读写和检索操作。 通过心跳机制定期向NameNode发送他
2021-09-06 15:02:45
112
原创 Flink知识栈总结
一Flink基本介绍二Flink架构设计与运行流程运行模式**session模式**（Flink Session 集群(会话模式)）per-job模式application模式运行模式总结三Flink经典实战案例与分析一Flink基本介绍背景在flink之前也出现了很多流数据处理引擎，包括storm、sparkstreaming等知名流行框架，但各自均有较明显的不足，导致没有达到理想的流处理引擎的标准要求。如何快速响应和处理这些大规模的实时数据流，成为众多互联网大厂的当务之急优秀流.
2021-08-30 21:38:08
242
原创 2021-06-07
安装了不兼容的APR（基于Apache Tomcat原生库）版本[1.1.29该问题的解决方法1 首先去apach官网上下载http://archive.apache.org/dist/tomcat/tomcat-connectors/native/1.2.14/binaries/tomcat-native-1.2.14-win32-bin.zip2下载以后选择符合自己版本的APR将解压后的dil文件tcnative-1.dll放入到java中JDK的bin目录下就可以了， 重启服务器就...
2021-06-07 20:17:11
236
原创 2021-05-05
HTML标签总结head标签：文档头部（描述文档的各种属性和信息，包含文档的标题、在Web中的位置以及其他文档的关系等；其中必须设置的标签是title）；title标签：文档的标题（让页面拥有属于自己的标题）；body标签：文档的主体（包含文档的所有内容）；标签语法双标签语法：<标签名>...</标签名>例如：title标签，head标签，body标签；单标签（也称空标签，指一个标签符号即可完整地描述某个功能的标签）语法：<标签名/>例如：me
2021-05-05 21:10:35
92
原创 2021-05-05
JavaSE一 基础Java语音四大特性:垃圾回收机制，面向对象，跨平台，多线程;Java是解释型语言;Java是准动态语言;Java是强类型语言;因为JVM跨平台，不同操作系统安装不同的JVM，但是它们都能够识别class文件;public表示资源是公共的;class是定义类的关键字，一个源文件中可以定义多个class文件，但是public class只能有一个;main方法是Java程序的入口;代码中命名可以使用大小写字母，美元符号，下划线，数字，而且数字不能开头，也不能使用关
2021-05-05 21:09:41
163
原创 2021-04-26
一 DML (Data Manipulate Language(数据操作语言))Insert (用于向表中添加数据): insert into 表名 (列名1,列名2) values (值1,值2);Delete(用于删除表中的数据): delete from表名 where 列名 = 值;Update(用于更新表中的数据):update 表名 set 列名1=值 , 列名2=值 where 列名 = 值;Select(用于查询表中的数据) select 列限定 from 表限定...
2021-04-26 21:37:37
72
转载 2021-04-25
mysql创建表的sql语句mysql建表常用sql语句：连接：mysql -h主机地址 -u用户名 －p用户密码 （注:u与root可以不用加空格，其它也一样）断开：exit （回车）创建授权：grant select on 数据库.* to 用户名@登录主机 identified by \"密码\"修改密码：mysqladmin -u用户名 -p旧密码 password 新密码删除授权: revoke select,insert,update,delete om *.* from
2021-04-25 22:30:20
59
原创 2021-04-25
MySQL安装遇到的问题 mysql ERROR 1045 (28000)-- Access denied for user问题解决办法 首先打开my.ini文件在mysqld下面加上 skip-grant-tables然后关掉mysql服务 重启 随后解决方案如下1 进入bin目录下2 输入mysql -u -p 3 直接回车跳过密码4 修改密码 update user set password=password('root') where user = 'root'...
2021-04-25 20:27:16
59
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人