- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据学习之（hive）
Hive 进行的是统一的元数据管理，就是说你在 Hive 上创建了一张表，然后在 presto／impala／sparksql 中都是可以直接使用的，它们会从 Metastore 中获取统一的元数据信息，同样的你在 presto／impala／sparksql 中创建一张表，在 Hive 中也可以直接使用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；Hive 会在 HDFS 为每个数据库上创建一个目录，数据库中的表是该目录的子目录，表中的数据会以文件的形式存储在对应的表目录下。
2025-02-07 21:20:08
1875
原创 大数据学习之（yarn）
3.ApplicationMaster启动后首先向ResourceManager注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7；AM挂掉：若挂掉，RM负责重启，其实RM上有一个RMApplicationMaster， 是AM，上面保存已经完成的task，若重启AM，无需重新运行已经完成的task。NM挂掉：不止一个，当一个挂了，会通过心跳方式通知RM，RM将情况通知对应AM，AM作进一步处理。
2025-02-06 23:30:54
1457
原创 大数据学习之(MapReduce)
map 在遇到一个 hadoop 的单词时就会记录为 1，但是这篇文章里 hadoop 可能会出现 n 多次，那么 map 输出文件冗余就会很多，因此在 reduce 计算前对相同的 key 做一个合并操作，那么需要传输的数据量就会减少，传输效率就可以得到提升。但并非所有场景都适合使用 combiner，使用它的原则是 combiner 的输出不会影响到 reduce 计算的最终输入，例如：求总数，最大值，最小值时都可以使用 combiner，但是做平均值计算则不能使用 combiner。
2025-02-06 22:51:33
733
原创 大数据学习之（hive）
由于数据不再可用，可能会导致某些块的复制因子小于其指定值，NameNode 会跟踪这些块，并在必要的时候进行重新复制。HDFS目前默认块大小在Hadoop2.x版本中是128M，老版本中是64M,因为目前磁盘的传输率约为100M/s,而HDFS读取文件时最佳的寻址时间为10ms，寻址时间为传输时间的百分之1时最佳，所以定义块大小为128M，1秒左右可以快速读取完毕；edits：用户操作的编辑日志文件，存放HDFS文件系统的所有更新操作的动作，文件所有写操作会被记录到Edits文件中。
2025-02-05 20:46:16
500
转载 ArrayList-1
1. ArrayList 简介ArrayList的底层是数组队列，相当于动态数组。与 Java 中的数组相比，它的容量能动态增长。在添加大量元素前，应用程序可以使用ensureCapacity操作来增加ArrayList实例的容量。这可以减少递增式再分配的数量。ArrayList继承于AbstractList，实现了List,RandomAccess,Cloneable,java.io.Serializable这些接口。public class ArrayLis...
2021-02-07 17:52:45
307
原创 HashMap分析
1.构造方法/** 构造方法 1 */public HashMap() { this.loadFactor = DEFAULT_LOAD_FACTOR; //负载因子大小 默认为0.75}/** 构造方法 2 */public HashMap(int initialCapacity) { this(initialCapacity, DEFAULT_LOAD_FACTOR);}/** 构造方法 3 */public HashMap(int initialCapacity
2021-02-07 14:53:41
319
转载 Spring事务传播机制
本文将按照声明式事务的五个特性进行介绍：事务传播机制 事务隔离机制 只读 事务超时 回滚规则Spring事务传播机制事务的特性原子性（Atomicity）：事务是一个原子操作，由一系列动作组成。事务的原子性确保动作要么全部完成，要么完全不起作用。 一致性（Consistency）：一旦事务完成（不管成功还是失败），系统必须确保它所建模的业务处于一致的状态，而不会是部分完成部...
2020-04-13 17:29:35
193
原创 RabbitMQ的安装与卸载
安装Erlang环境：从Erlang Solution安装(推荐)# 添加erlang solutions源 $ wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm $ sudo rpm -Uvh erlang-solutions-1.0-1.noarch.rpm $ sudo y...
2020-01-16 15:59:03
1305
SQL常见的优化
2018-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人