- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hbase安装流程及踩坑心得
关于安装zookeeper和hbase前言网上已经有相当多的zookeeper和hbase的安装教程了。那为什么总是在安装的时候，还是可以遇到那么多问题。有话说搭建一个自己的大数据平台，手把手安装大数据相关组件，从组件的版本匹配，组件源下载，再到着手解压配置。一个环境搭建下来，我发现我可能需要浏览数几十个页面，才能真的完成我的搭建流程。鉴于之前在学习的过程中，曾经给一位朋友写了一份非常详细的hadoop集群搭建的说明书。记录一下这一次在从最基础的hadoop集群搭建，到各个组件的安装配置。由于精
2021-07-19 00:32:50
1747
原创 Apache Impala
记一次impala的认识与学习。概念impala是一个实时的sql查询工具，类似于hive的操作方式，只不过执行的效率极高，号称当下大数据生态圈中执行效率最高的sql类软件。impala来自于cloudera，后来贡献给了apacheimpala工作底层执行以来于hive，与hive共用一套元数据存储，在使用impala的时候，必须保证hive服务是正常可用的，至少metastore开启。impala最大的跟hive的不同在于，不在把sql编译成mr程序执行编译成执行计划树。
2021-07-05 23:36:15
642
2
原创 HIVE（一）
一、数据仓库介绍专业定义 英文名称Data Warehourse,可简写成DW。 是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 它是单个数据存储，处于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 通俗解释 面向分析的存储系统（面向数据分析的存储系统） 一个面向主题的（Subject Oriented)、集成的（Integrate)、不可修改的（Non-Volatile)、反映历史变化（Time
2021-06-24 21:37:10
253
原创 Hadoop(三）
da@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
2021-06-08 11:21:45
433
1
原创 Hadoop(二）
上篇答案：HDFS为何将文件分成block块存储？减少底层操作系统的IO读取时的寻址时间方便更高效的流式读取，提高吞吐量HDFS block块的默认大小时多少？dfs.blocksize为Hadoop定义block块大小的设置参数，在hdfs-site.xml中版本不一样，默认值不同。Hadoop2.2.x及以后版本均为128MHDFS block块的大小是否可以更改？一个block块文件不会跨文件存储一个block块文件最多只会存储一个文件对应的数据一个block块
2021-05-19 23:06:11
369
原创 Hadoop(一）
Haoop(一）文章目录Haoop(一）hadoop初识概述项目起源发展历程名字由来Hadoop核心组件与应用核心组件组件介绍Hadoop生态圈Ambari平台介绍分布式文件系统HDFS分布式文件系统HDFS1.产生背景2.特点介绍应用场景HDFS设计架构1.HDFS是什么2.HDFS组件角色2.1 Namenode2.2 DataNode2.3 Client3.HDFS设计架构3.1 基本架构3.2 读文件流程3.3 写文件流程HDFS高可靠性措施1.冗余备份2.跨机架副本存放3.心跳检测4.数据完整性
2021-04-11 10:22:46
928
大数据平台搭建（终极版）.pdf
2021-07-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人