Hadoop项目
关注
分享
扫一扫
文章平均质量分 87
金融业务专家
从事银行信息安全和数据开发10年经验。致敬所有技术宅。
展开
-
基于2025年最新环境整理VMware Workstation 17 安装 Ubuntu 24.04 全流程指南
通过以上步骤，可在VMware Workstation 17中高效部署Ubuntu 24.04 LTS系统，适用于开发、测试及学习环境14。原创 2025-04-28 16:15:38 · 710 阅读 · 0 评论 -
在VMware Workstation 17 安装 Ubuntu 24.04 LTS步骤
。原创 2025-04-28 16:12:39 · 630 阅读 · 0 评论 -
hadodop之HDFS 第二章 hdfs的shell命令
hdfs shell 通过hdfs命令来操作hdfs的文件。第一、hadoop V1.0 和 hadopp V2.0及以上具备的命令jps 查看角色hadoop fs -ls hdfs://itcast02:9000/1)hadoop fs -ls name node2) hdfs的根存放什么信息。3）命令： cat，checkhadoop fs -copyF...原创 2019-06-16 10:28:26 · 141 阅读 · 0 评论 -
hadodop之HDFS 第一章 hdfs原理
1、HDFS架构：name nodeData nodeSecondary name node1）客户端选读取数据。 和Name node 获取元数据。2）Name node 查询元数据信息。 元数据信息放在二维数据库如mysql。 内存和磁盘分别保存一份。3）返回Metadata数据给Name node，然后返回给 客户端。4） 数据就近原则。5） Name node...原创 2019-06-16 11:09:02 · 198 阅读 · 0 评论 -
hadodop之MR 第一章 MR原理
3、 Mapreduce 原理[K1,v1]----Map----[K2,V2]------Group--------Reduce----[K3,V3]1）文件上传后，被物理切分了。2）在块的基础上打标记。3)Shuffle...原创 2019-06-16 15:34:48 · 260 阅读 · 0 评论 -
hadodop之hive 第一章 hive原理及如何使用Mysql作为hive的metastore元数据库
hive是什么？体系结构简洁 Hive的安装与管理 HiveQL 数据类型，表以及表的擦欧洲哦 HiveQL 查询数据 Hive Java客户端 Hive的自定义函数 UDF --- 加深拓展 hive是facebook 应用的。 1、Hive 建立在Hadoop上的数据仓库基础架构。是一种可以存储、查询和分析存储在hadoop中的 大规模数据...原创 2019-06-16 19:42:04 · 317 阅读 · 0 评论