一定要努力努力再努力-优快云博客

原创 hive表锁和分区锁

前言：关于共享锁和互斥锁可以参考下面链接：https://blog.youkuaiyun.com/mnasd/article/details/81452738解决方案针对你的分区锁进行解锁这种只能是在执行完以后发现被锁了，手动去解锁。为了以防万一，可以在脚本里添加如下几行，避免以后再发生............

2022-06-24 10:30:25 817

（一）小文件产生的原因1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。3.数据源本身就包含大量的小文件。（二）小文件产生的影响1、首先对底层存储HDFS来说，HDFS本身就不适合存储大量小文件，小文件过多会导致namenode元数据特别大,占用太多内存，严重影响HDFS的性能2、对 hive 来说，在进行查询时，每个小文件都会当成一个块，启动一个Map任务来完成，而一个Map任务启动和初始化的时

2022-05-07 17:47:23 607

原创 hive explain执行计划详解

1、Hive提供的执行计划目前可以查看的信息有以下几种：explain：查看执行计划的基本信息；explain dependency：dependency在explain语句中使用会产生有关计划中输入的额外信息。它显示了输入的各种属性；explain authorization：查看SQL操作相关权限的信息；explain vectorization：查看SQL的向量化描述信息，显示为什么未对Map和Reduce进行矢量化。从 Hive 2.3.0 开始支持；explain analyze

2022-04-11 15:49:06 1529

原创 hive分区字段含中文导致的报错

hive创建动态分区的时候，如果分区中有中文名会报如下错误：Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.InterruptedIOException: Call interrupted at org.apache.hadoop.hive.ql.metadata.Hive.needToCopy(Hive.java:3073) at org.apache.hadoop.hive.ql.

2021-11-01 16:12:22 2244

原创 hive表添加字段/修改字段导致的查询报错

一般由于业务需要，会对hive的表有增加字段的操作，如下：ALTER TABLE 库名.表名 add columns (字段名字段类型 comment '注释') ;但是上面这种语法只能是对表的当前和以后新的分区生效，若存在历史分区，那么MySQL上的元数据信息没有修改。若查询历史分区，就会报上面的return code 2解决方案：1、直接在添加字段的时候加上 CASCADEALTER TABLE 库名.表名 add columns (字段名字段类型 comment '注释') .

2021-11-01 14:21:07 5458 1

原创 hive数据倾斜的解决方案

hive数据倾斜的解决方案产生数据倾斜的场景数据倾斜的原因和解决方法：产生数据倾斜的场景数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段任务执行完成，但是这种节点的数据处理任务

2021-08-20 10:09:29 559

原创 MySQL中ON DUPLICATE KEY UPDATE的使用

需求背景：现在有Test1表，Test2表，Test3表三张表现在Test3表的数据都来源于Test1表和Test2表join后的结果现在要求从Test1表和Test2表每天都要定时将数据导入到C表需要用到判断主键或唯一索引在现有表中是否存在，存在就Update行数据，不存在就执行Insert准备工作drop table Test1;CREATE TABLE `Test1` ( `id` int(11) NOT NULL, `name` varchar(50) NOT NULL,

2020-09-01 11:04:41 228

原创 mysql中如何实现 row_number分组求topN的功能

业务场景：从成绩表中，查询每门课程的top2的学生的所有信息建表语句：CREATE TABLE `subject` ( `Id` int(11) NOT NULL DEFAULT '0', `subject_name` varchar(200) DEFAULT NULL, `sname` varchar(255) DEFAULT NULL, `score` int(11) DEFAULT NULL, PRIMARY KEY (`Id`)) ENGINE=InnoDB DEFAUL

2020-07-28 17:54:01 286

原创 SQL中常见问题and,where,having

SQL中常见的问题--and,where,having 条件使用on后面加and条件的情况on后面加where条件的情况having和where的使用场景总结：on后面加and条件的情况假设我有两张表 test_a1表示成绩表，test_a2表示学生表select * from test_a1id subject grade1 数学 89.501 英语 90.001 语文 85.002 数学 99.002 英语 59.902 语文 99.003 数学 87

2020-07-21 13:31:10 1348

数据结构课件

指相对于初等数学而言，数学的对象及方法较为繁杂的一部分。广义地说，初等数学之外的数学都是高等数学，也有将中学较深入的代数、几何以及简单的集合论初步、逻辑初步称为中等数学的，将其作为中小学阶段的初等数学与大学阶段的高等数学的过渡。通常认为，高等数学是由微积分学，较深入的代数学、几何学以及它们之间的交叉内容所形成的一门基础学科。主要内容包括：极限、微积分、空间解析几何与线性代数、级数、常微分方程。工科、理科研究生考试的基础科目。

2018-10-24

高等数学考试题

2018-10-24

英语二历年真题

硕士研究生教育按照培养目标的不同，分为学术型研究生和专业学位研究生。学术型研究生的培养目标是高层次学术研究型专门人才，专业学位研究生的培养目标是具有扎实理论基础，并适应特定行业或职业实际工作需要的应用型高层次专门人才。具有较强的解决实际问题的能力，能够承担专业技术或管理工作，具有良好的职业素养的高层次应用型专门人才。从2010年开始，全国硕士研究生入学考试的英语试卷分为了英语（一）和英语（二）。英语（一）即原研究生入学统考“英语”，所有学术型硕士研究生（十三大门类，110个一级学科）和部分专业型硕士（法律硕士、临床医学硕士、口腔医学硕士、建筑学硕士、护理硕士、汉语国际教育硕士、公共卫生硕士等）必考英语（一）。英语（二）主要是为高等院校和科研院所招收不考英语（一）的专业学位硕士研究生而设置的具有选拔性质的统考科目。

2018-10-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

一定要努力努力再努力的博客

原创 hive表锁和分区锁

原创 hive-小文件优化

原创 hive explain执行计划详解

原创 hive分区字段含中文导致的报错

原创 hive表添加字段/修改字段导致的查询报错

原创 hive数据倾斜的解决方案

原创 MySQL中ON DUPLICATE KEY UPDATE的使用

原创 mysql中如何实现 row_number分组求topN的功能

原创 SQL中常见问题and,where,having

数据结构课件

高等数学考试题

英语二历年真题

2017考研英语真题

c语言期末练习题库

数据结构期末复习题

数据结构练习题

空空如也