无敌-小菜鸟-优快云博客

原创 hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 处理

我在用hive -e 跑数据的时候，表中的数据是以月份和省份分区的，有的分区跑成功有的分区跑失败了。一眼看到报的错是map内存溢出，非常郁闷。首先我想到的是map的数量不够，或者是分片出了问题。网上说有好多原因：1、集群时间没有同步<我们的集群是生产集群怎么可能犯这种错误>；2、将count（*）换count（1）<这个解决办法根本就是瞎扯>;3、设置set...

2018-12-30 17:58:19 5543

原创算法学习1-入门了解

例如，假设你在一个只接受现金的商店里需要找回97美分，收银员会先给你一个50美分的硬币，再给两个20美分的硬币，然后是一个5美分的硬币和两个1美分的硬币，总共用了6枚硬币。掌握算法基础对于任何计算机科学的学习者来说都是至关重要的，它不仅能深化你对计算机程序运行机制的理解，还能显著提升程序的性能和效率，进而解决更复杂的问题。递推法是计算机序列常用的一种算法，它按照一定的规律来计算序列中的每一项，通常是通过计算机前面的一些项来的出序列中指定的值。算法的有穷性指的是算法在执行有限的步骤后必须结束。

2024-08-15 10:47:19 986 2

原创杀掉hive job 的几种方法

简单介绍几种杀hive的办法要想杀干净先杀脚本 ps -ef|grep 脚本 kill -9 进程号后杀 job1、hive 跑起来会有日志查看日志找到 job号INFO : Starting Job = job_1591243491921_929733 hadoop job -kill job_1591243491921_9297332、yarn杀死yarn application...

2020-09-27 22:16:42 3509

原创 oracle 数据导入和导出

数据入库(直接用PLSQL)1、建表2、打开“工具”--点击“文本导入”3、进入文本导入后，在“来自文本文件”侧加载文件在“到Oracle”侧选择已经建好的表点击右侧的字段，与你TXT文本相对应点击下方“导入”完成数据入库数据量大(用Oracle服务器)对于数据量少于100万行的导入（select ... for update）和导出（select）最...

2018-08-01 16:35:48 913

原创 oracle 创建分区表以及自动添加分区

oracle提供了以下几种分区类型：范围分区（range）哈希分区（hash）列表分区（list）范围－哈希复合分区（range-hash）范围－列表复合分区（range-list）查看分区数：select*from user_tab_partitions where table_name='表名' 查看分区内容：s...

2018-08-01 16:25:51 42690

原创 oracle 误删数据的恢复

一、在恢复以前我们先看一下删除数据 1、删除表中数据两种方法 a. delete * from My_Table --不释放区 b. truncate table My_Table; 2、删除整个表 drop table My_Table --释放区（还会占用表空...

2018-08-01 16:20:52 240

原创 oracle 存储层面逻辑组织结构

1、块块是oracle 读写的最小单位，块大小事操作系统（OS）层面块大小的整数倍。块大小可以通过 “db_block_size”来设置，可以是2K,4K,8K,16K,32K。当数据行长度因update操作增长的时候，块内的自由空间不足的时候以容纳修改后的数据行，那么该数据行将迁移到另外一个能容纳他的块中。原来的块中会留下一个指向新存储位置的指针。2、区...

2018-08-01 15:33:37 223

原创 sql 执行计划

sql执行顺序 (1) from (2) on(3) join(4) where (5) group by(开始使用select中的别名，后面的语句中都可以使用) (6) avg,sum.... (7) having (8) select (9) distinct (10...

2018-07-31 15:59:05 232

转载 oracle 多表连接的三种方式 HASH JOIN 、MERGE JOIN 、NESTED LOOP

1、NESTED LOOP（嵌套循环连接）对于被连接的数据子集较小的情况。 1)、过程：从A表抽一条记录，遍历B表查找匹配记录，然后从a表抽下一条，遍历B表，就是一个二重循环。 2)、原理： for(int i=0;i<=5;i++) { for(int j=0;j<=10;j+...

2018-07-31 15:34:30 1695

limiao_haoniubi的博客