zk hdfs hadoop yarn hive 学习笔记

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_30496751

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量77

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/yinkw/p/9464893.html

本文档为Hadoop生态系统的学习笔记,包含Hadoop、YARN、Hive等关键组件的学习要点及实践经验分享。

zk hdfs hadoop yarn hive 学习笔记

如图

posted on 2018-08-12 21:04 大侠去哪儿阅读( ...) 评论( ...) 编辑收藏

转载于:https://www.cnblogs.com/yinkw/p/9464893.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30496751

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

单机搭建hadoop环境（包括hdfs、yarn、hive）

howard_shooter的博客

01-28

2683

然后，下载hadoop安装包，这个包就包括了hdfs服务器和yarn服务器的执行文件和配置脚本。首先，要配置好Java的JAVA_HOME和PATH（etc/hadoop/hadoop-env.sh里的JAVA_HOME要改为本机的JAVA_HOME），还是有ssh本机的免密码登录。etc/hadoop/hdfs-site.xml （dfs.namenode.name.dir 和 dfs.namenode.data.dir）是服务器上存储元数据和数据的目录。yarn服务器，yarn的前提是hdfs服务器，

总结:HDFS+YARN+HIVE

Rouer_jia的博客

03-22

1353

狭义上：大数据是一类技术栈，是一种用来处理海量数据的软件技术体系。广义上：大数据是数字化时代、信息化时代的基础（技术）支撑，以数据为生活赋能。分布式数据存储 - HDFS组件分布式数据计算 - MapReduce组件分布式资源调度 - YARN组件。

参与评论您还未登录，请先登录后发表或查看评论

Hadoop、MapReduce、Hive、HDFS、YARN之间的关系

weixin_44131871的博客

10-30

869

Hadoop是一个由Apache基金会开发的开源框架，它允许分布式处理大数据集。Hadoop的设计目的是提供高可靠性、可扩展性和高吞吐量，使得它可以在廉价的硬件集群上运行大型数据密集型应用。Hadoop的生态系统还包括其他几个项目，如：YARN (Yet Another Resource Negotiator)：是一个作业调度和集群资源管理的框架，它在Hadoop2.x版本中取代了旧的MapReduce作业跟踪器。

Hadoop+Hive超全笔记一站式搞定！！

weixin_72093863的博客

06-22

3518

该文章介绍了hadoop+hive阶段的重要知识点。查看本文章前，请通过目录找到需要的内容进行学习本文章适合有大数据基础的朋友学习或作为笔记收录感谢大家点赞收藏o(*////▽////*)q

深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用

热门推荐

官方推荐

03-28

1万+

深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用

超全笔记：HDFS,MAPREDUCE,YARN,HIVE

qq_42146775的博客

02-09

4390

NameNode，DataNode，SecondaryNameNode角色 NameNode：基于内存存储文件元数据（metadata）、block映射元数据：/path/path/xxx.txt 128M root:root 2021.10… rwxrwxrw 映射（比如xxx.ttt）： xxx_bk1 node1 node3，xxx_bk2 node1 node2 DataNode：基于本地磁盘存储block（每个块以文件形式存储），保存block块的校验，与NameNode维持心跳汇报bl

中小型企业大数据平台全栈搭建：Hive+HDFS+YARN+Hue+ZooKeeper+MySQL+Sqoop+Azkaban 保姆级配置指南

优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主

03-15

1万+

对于中小企业，构建一套完整的本地化大数据平台需兼顾成本、易用性和扩展性。本文基于生产环境实践，详细讲解以下组件的安装、配置与联动；提供全组件官方下载地址‌和配置模板‌，助您快速搭建企业级数据平台

Hadoop入门—HDFS、MR、Yarn

qq_73181349的博客

04-15

2741

hadoop生态及架构，HDFS存储方式、Yarn资源调度、MR并行计算

hadoop基础搭建（hadoop+hive+hbase+zk）（一）

weixin_40496191的博客

01-02

2992

关于hadoop的基础搭建

spark、hadoop和hive自学路线

weixin_46713695的博客

10-20

1077

spark、hadoop和hive自学路线

AI-调查研究-74-具身智能机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇

永远好奇，无限进步！

09-10

969

具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游

TDengine 选择函数 TOP() 用户手册

最新发布

TDengine(老段）专注时序数据库领域

09-12

552

其中，TDengine TSDB 是一款高性能、分布式的时序数据库（Time Series Database），同时它还带有内建的缓存、流式计算、数据订阅等系统功能；TDengine IDMP 是一款AI原生工业数据管理平台，它通过树状层次结构建立数据目录，对数据进行标准化、情景化，并通过 AI 提供实时分析、可视化、事件管理与报警等功能。函数返回指定列中最大的 k 个非 NULL 值及其对应的记录。如果多条数据取值相同，且全部取用会超出 k 条限制时，系统会从相同值中随机选取符合要求的数量返回。

BYSJLG的博客

09-09

1047

本文介绍了一个基于Hadoop+Spark的物联网网络安全数据分析系统。该系统整合了Hadoop分布式存储和Spark分布式计算，结合Vue前端、Python Django后端以及Echarts可视化技术，构建了一个完整的物联网安全分析平台。系统能够处理15个关键字段的物联网安全数据，通过四个主要分析维度（安全态势评估、攻击类型识别、设备风险评估和性能异常监测）提供全面的网络安全分析。开发环境包括Hadoop、Spark、Hive、Python、Django、Vue等技术栈。文章展示了系统登录界面和管理模块

还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”

郑龙飞

09-10

729

/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。

IT研究室的博客

09-09

1098

本文介绍了一个基于大数据的国内旅游景点游客数据分析系统。该系统采用Hadoop+Spark分布式架构，结合Python/Java开发语言，通过Django/Spring Boot后端和Vue前端实现全流程旅游数据分析。系统具备五大核心功能模块：游客画像分析、消费行为挖掘、区域市场研究、时序环境分析和景点评估，可处理海量旅游数据并进行多维度的可视化展示。开发环境整合了HDFS、Spark SQL、Pandas等技术栈，使用MySQL存储分析结果。

内存大（巨）页

fpcc的专栏

09-12

445

文章摘要：大页（巨页）是比标准4KB页更大的内存页（如2MB或1GB），用于优化内存管理。随着内存容量增长，传统小页导致页表膨胀、TLB命中率下降等问题。大页通过减少页表层级、提升连续内存访问效率，显著提高性能，尤其适用于数据库、大数据处理、高性能计算等场景。但其分配复杂，可能加剧内存碎片。技术发展推动内存管理演进，未来可能出现更优方案。开发者需持续关注前沿技术动态。（150字）

想拿到ip地址库的离线包

Nothing

09-09

697

如果你只做“中国境内日志 -> 省市”离线解析，纯真社区版无论体积还是精度都够用；想要街道级或风险标签，再考虑商业数据源；任何 IP 库都有边界漂移，记得留好“未知”兜底与灰度观测。

当建筑工程遇上“AI+虚拟仿真”：打开未来工程人才培养的创新之门

恒点虚拟仿真官方博客

09-09

737

虚拟仿真技术助力国际工程管理人才培养。随着一带一路建设推进，海外工程需求激增，传统教学面临实践成本高、文化差异大等瓶颈。AI+虚拟仿真技术构建沉浸式实训场景，通过虚拟仿真技术，模拟海外项目全过程，涵盖招投标、施工管理等环节，同时整合各国法规标准数据库，有效提升学生的跨文化适应能力和实操技能。该模式突破时空限制，为培养复合型国际工程人才提供创新解决方案，精准对接政策要求和市场需求。

Mac本地docker安装Kibana+ElasticSearch

liliang199的专栏

09-11

712

Kibana是和ElasticSearch协同的经典工具，这里尝试在Mac以Docker方式快速搭建Kibana+ElasticSearch。假设Docker已安装，细节参考Docker若不能正常pull，可能需修改配置，参考。

Hadoop与Hive学习配套完整数据库数据集

资源摘要信息: "hadoop Hive学习配套数据" 知识点： 1. Hadoop概念 Hadoop是一个开源的框架，由Apache基金会支持，用于存储和处理大规模数据集的编程模型。它由两个核心部分组成：HDFS（Hadoop Distributed File ...