- 博客(12)
- 收藏
- 关注
RSS订阅原创 Ambari
把复杂的安装向导和管理仪表盘做成了“模拟游戏”，您可以通过点击按钮、填写信息、选择服务，一步步“假装”搭建并管理一个 Hadoop 集群。Server 就像班主任，Agent 就像各科课代表，班主任通过课代表管理全班同学（集群节点）。支持企业级安全认证，让集群更安全（虽然对初学者来说有点复杂，但 Ambari 让它变简单了）。当服务出现异常（比如 DataNode 宕机），Ambari 会发出告警，提醒你及时处理。简单说Ambari 和 CDH 都是“大数据安装管家”，就像。Web 界面 默认访问。
2026-06-29 16:09:48
241
原创 Linux自动部署
如果学校机房有 50 台电脑，每一台都要重装 Linux 系统，用 U 盘一台一台装要累死啦！就像“克隆大法”：只需一台服务器，其他电脑开机联网，就能全自动安装系统，连软件、账号都提前配好！是不是很酷？
2026-05-28 11:25:48
331
原创 大数据协作框架-Sqoop
想象一下：学校的图书馆 🏫 里存放着大量结构整齐的书籍（关系型数据库 MySQL/Oracle），而大数据仓库 🗄️ 里则存放着海量的零散资料（HDFS/Hive）。就像一辆往返于图书馆和大数据仓库之间的！✨：SQL + Hadoop = Sqoop（发音：skup）
2026-05-21 11:30:27
344
原创 Flume的理解
👍 优点• 配置简单，无需编程• 可靠的事务机制• 与Hadoop生态无缝集成⚠️ 注意• 不适合跨机房复杂的“流处理”• 更专注日志采集搬运。
2026-05-14 15:45:00
346
原创 HBASE过滤器
在 HBase 这样的 NoSQL 数据库中，数据以结构存储在 RegionServer 的多层 HFile 和 MemStore 中。若无过滤器，全表扫描将导致大量磁盘 I/O 和网络传输。实现了，在存储引擎层提前过滤，是提升查询效率的关键机制。Client → (通过 ZooKeeper 定位 Meta Region) → 目标 RegionServer →。关键点：过滤器工作在 RegionServer 内部，不产生多余 RPC 开销。
2026-05-14 11:10:30
354
原创 NoSQL 与 HBase
✅适用• 数据量巨大，单表超过亿/十亿行• 高吞吐写入 + 随机读取需要毫秒级响应• 模式灵活且不断演化（列动态增加）• 需要水平扩展，线性增加吞吐能力❌慎用• 需要复杂事务、跨行ACID• 传统 ERP 系统，强关联模型• 团队缺乏 Hadoop/HBase 运维经验• 小数据量，简单 CRUD 更适合 MySQL📖学习路径建议。
2026-04-30 11:23:51
420
原创 理解Hive
是构建在Hadoop之上的数据仓库软件，它提供一种类似 SQL 的查询语言 ——HiveQL，并将这些查询自动转换为分布式计算任务（MapReduce / Tez / Spark），从而对存储在 HDFS 或其他兼容文件系统中的大规模数据集进行分析。关键认知：Hive不是数据库（如 MySQL、PostgreSQL），而是解决方案。它不存储数据本身，而是通过元数据（Metastore）将结构化描述映射到文件系统中的数据。Hive 派出成百上千个小机器人，每个机器人负责一小堆数据，同时开始统计。
2026-04-23 11:26:11
387
原创 分布式集群基础配置
实现集群节点之间「无密码远程登录」，是 Hadoop 等组件自动分发任务、管理节点的核心前提，否则每次操作都需要手动输入密码，无法自动化运行。，所有大数据组件（HDFS、YARN、Hive 等）都必须运行在集群环境中，因此集群部署是运维的第一步。：Hadoop、Spark、Hive 等绝大多数大数据组件都是 Java 开发的，必须依赖 JDK 环境才能运行，是集群的「运行基础」。用的，目标是快速搭建一套可用于学习、开发、测试的大数据环境，不追求高可用、高并发，重点是「能跑起来、方便调试」。
2026-04-23 11:11:21
389
原创 Linux的基本使用
eg1：命令向系统中增加一个新组group1，新组的组标识号是在当前已有的最大组标识号的基础上加1。-o 一般与-g选项同时使用，表示新用户组的GID可以与系统已有用户组的GID相同。eg2：此命令向系统中增加了一个新组group2，同时指定新组的组标识号是10002。-o 与-g选项同时使用，用户组的新GID可以与系统已有用户组的GID相同。-g GID 指定新用户组的组标识号（GID）。-n 新用户组 将用户组的名字改为新名字。-g GID 为用户组指定新的组标识号。
2026-04-09 11:34:55
49
原创 大数据分布式集群
右侧列举的集群问题（网络连通性、批量配置、服务高可用等），正是运维师的核心工作：在不停机的前提下，保障大数据集群稳定、高效、安全运转，为所有上层数据岗位提供可靠的底层平台支撑。这张图展示了一套完整的大数据处理流程，核心是数据采集→存储→计算→导出→展示的闭环，对应到实际业务中就是从收集日志到呈现结果的全流程。- Hive：基于清洗后的数据，通过Hive（类SQL查询工具）进行分析统计，提取业务所需的有效数据。- HDFS：收集的日志直接存入HDFS（分布式文件系统），作为原始数据的长期存储载体。
2026-04-02 11:27:17
355
原创 基于AI的个性化医疗健康管理平台
本项目通过模拟健康数据与深度学习技术，构建了一个高准确率的健康风险预测系统，为健康管理提供了可解释的决策支持。未来可结合真实数据与更先进的模型，进一步提升实用性和可靠性。
2025-10-12 15:13:50
641
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人