<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a88d266的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a88d266</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a88d266]]></copyright><item><title><![CDATA[hive中的函数]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/155703996</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/155703996</guid><author>a88d266</author><pubDate>Mon, 08 Dec 2025 13:19:09 +0800</pubDate><description><![CDATA[以下是 Hive 中。]]></description><category></category></item><item><title><![CDATA[NumPy 入门：从 0 到 1 掌握 Python 数据处理利器]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/154358810</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/154358810</guid><author>a88d266</author><pubDate>Mon, 03 Nov 2025 19:44:25 +0800</pubDate><description><![CDATA[NumPy 的全称是 “Numerical Python”（数值 Python），简单说就是。你可能会问：“Python 本身不是有列表（list）吗？为什么还要用 NumPy？举个例子就懂了：。]]></description><category></category></item><item><title><![CDATA[Flume1.9 采集数据到 Hive3.1.2 实战：配置详解与 NoClassDefFoundError 报错解决]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/152025076</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/152025076</guid><author>a88d266</author><pubDate>Wed, 24 Sep 2025 08:25:29 +0800</pubDate><description><![CDATA[本文详细介绍了使用Flume将实时文本数据采集到Hive表的完整流程及常见问题解决方案。主要内容包括：1）环境准备，明确组件版本需求；2）Hive目标表创建步骤；3）Flume Agent的完整配置文件详解；4）重点解决NoClassDefFoundError核心报错，提供Jar包缺失的排查和修复方法；5）数据采集验证步骤；6）生产环境优化建议。文章以Flume1.9对接Hive3.1.2的实战案例，从环境配置到报错处理进行全流程拆解，帮助开发者规避常见问题，实现稳定可靠的数据实时采集入库。]]></description><category></category></item><item><title><![CDATA[YARN 中 ResourceManager 故障后任务恢复实战指南​]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/151802246</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/151802246</guid><author>a88d266</author><pubDate>Wed, 17 Sep 2025 20:39:59 +0800</pubDate><description><![CDATA[YARN中ResourceManager故障的任务恢复机制解析 本文深入分析了YARN中ResourceManager(RM)故障的影响及恢复方案。主要内容包括：1)RM故障场景分类（单点故障、脑裂问题等）及对任务的直接影响；2)YARN任务恢复核心机制，包括自动故障转移(HA)的实现原理和任务恢复流程；3)手动恢复操作指南和优化建议，涵盖配置优化、监控预警和数据持久化等方面；4)典型故障案例解析。文章提供了从理论到实践的完整解决方案，帮助用户有效应对RM故障问题，确保集群稳定运行。]]></description><category></category></item><item><title><![CDATA[Zookeeper 选举算法详解：从原理到实战]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/151801891</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/151801891</guid><author>a88d266</author><pubDate>Wed, 17 Sep 2025 20:28:53 +0800</pubDate><description><![CDATA[Zookeeper的FastLeaderElection选举算法是分布式系统协调服务的核心机制。该算法通过TCP连接实现高效投票，优先比较ZXID（事务ID）和服务器ID来确定Leader。当节点获得多数投票时成为Leader，确保集群一致性。算法优化包括TCP长连接、投票过滤和快速响应策略。建议部署奇数节点，控制网络延迟。该算法为理解分布式共识提供了实践基础，源码关键方法包括lookForLeader()和投票比较逻辑。]]></description><category></category></item><item><title><![CDATA[HDFS 核心机制详解：安全模式、读写流程、心跳与 SecondaryNameNode 工作原理]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/151724265</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/151724265</guid><author>a88d266</author><pubDate>Mon, 15 Sep 2025 19:20:43 +0800</pubDate><description><![CDATA[HDFS四大核心机制解析：保障分布式存储稳定运行 HDFS作为Hadoop核心存储系统，其稳定运行依赖于四个关键机制：安全模式作为数据保护屏障，在集群启动/恢复时确保数据完整性；读写流程实现数据在分布式环境下的可靠存取；心跳机制维持节点间通信与容错；SecondaryNameNode则负责元数据管理，通过定期合并fsimage和edits文件减轻NameNode负担。本文详细解析了各机制的工作原理，包括安全模式的配置参数与命令操作、读写流程的交互逻辑、心跳机制的通信机制]]></description><category></category></item><item><title><![CDATA[HDFS 伪分布模式搭建详解（附 Shell 操作与 WordCount 测试）]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/151723934</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/151723934</guid><author>a88d266</author><pubDate>Mon, 15 Sep 2025 19:00:28 +0800</pubDate><description><![CDATA[本文详细介绍了HDFS伪分布模式的搭建流程，适合初学者在单台服务器上体验HDFS分布式特性。主要内容包括：1）伪分布模式概念解析；2）环境准备的6个关键步骤；3）4个核心配置文件的修改方法；4）NameNode格式化与集群启动验证；5）WordCount案例测试；6）与本地模式的差异对比。文章特别强调了常见问题和注意事项，如仅能执行一次的格式化操作、防火墙关闭等配置要点，帮助开发者避坑。通过伪分布模式，开发者可以在单机环境下完整模拟HDFS的分布式功能，为学习和测试提供便利。]]></description><category></category></item><item><title><![CDATA[深入理解 Linux 文件系统的核心：inode 与 block]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/151135411</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/151135411</guid><author>a88d266</author><pubDate>Wed, 03 Sep 2025 08:26:29 +0800</pubDate><description><![CDATA[Linux文件系统的核心机制解析：inode与block的协作原理 文章深入剖析了Linux文件系统中inode和block的工作原理。block是存储文件内容的最小单元（通常4KB），存在内部碎片问题；inode则记录文件的元数据（权限、大小、时间戳等）和block指针，但不存储文件名。文件名实际存放在目录的block中，形成&quot;文件名→inode号&quot;的映射关系。当访问文件时，系统通过目录找到inode，再根据inode中的指针定位block数据。文章还揭示了inode耗尽导致无法创建文]]></description><category></category></item><item><title><![CDATA[【无标题】MySQL 读写分离]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/149742690</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/149742690</guid><author>a88d266</author><pubDate>Tue, 29 Jul 2025 13:16:40 +0800</pubDate><description><![CDATA[MySQL读写分离通过将写操作（主库）和读操作（从库）分离，有效提升数据库性能、扩展性和可用性。核心架构包括主库处理写请求、从库处理读请求，通过中间件实现请求路由。优势包括降低主库负载、提高响应速度，但需注意主从同步延迟带来的数据一致性问题。适用读多写少的业务场景，如电商、博客系统。通过合理配置数据源和使用AOP等技术可有效实现读写分离，显著提升系统处理能力。]]></description><category></category></item><item><title><![CDATA[DolphinScheduler 金融数仓任务调度常见错误与解决方案实战记录​]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/148729607</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/148729607</guid><author>a88d266</author><pubDate>Wed, 18 Jun 2025 08:25:34 +0800</pubDate><description><![CDATA[摘要： 本文总结了DolphinScheduler在金融数仓任务调度中的常见问题及解决方案，涉及伪分布式安装、增量抽取任务、Sqoop/DataX调度等场景。安装阶段需确保JDK、MySQL、ZooKeeper等依赖配置正确；Sqoop任务需注意环境变量、SQL语法及日期格式问题；HiveSQL任务需明确数据库上下文和分区操作规范；DataX任务需校验JSON参数与资源引用。通过环境变量调整、配置文件修正和SQL优化等方法，可有效解决服务启动失败、命令缺失、数据类型不匹配等典型错误，提升调度稳定性。]]></description><category></category></item><item><title><![CDATA[Hive 分区深度解析：从基础概念到实战优化]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/148617609</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/148617609</guid><author>a88d266</author><pubDate>Thu, 12 Jun 2025 20:09:59 +0800</pubDate><description><![CDATA[Hive分区机制通过逻辑分组提升海量数据查询效率，避免全表扫描。核心价值在于分区修剪、资源优化和业务语义化管理。实现方式包括：1）静态分区（手动指定分区值）；2）动态分区（自动按数据内容生成）；3）混合分区（静态与动态结合）。]]></description><category></category></item><item><title><![CDATA[HDFS 集群启动原理深度解析：从 start-dfs.sh 命令看新旧集群差异]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/148123323</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/148123323</guid><author>a88d266</author><pubDate>Wed, 21 May 2025 20:06:36 +0800</pubDate><description><![CDATA[本文深入探讨了Hadoop分布式文件系统（HDFS）中start-dfs.sh命令在新老集群启动时的底层原理，重点分析了edits和fsimage文件机制在确保数据一致性和启动流程中的作用。新集群启动时，首先需要格式化Namenode，生成初始的fsimage和edits文件，随后通过start-dfs.sh命令启动Namenode和Datanode，此时集群处于就绪状态但无实际数据存储能力。老集群启动时，Namenode会进入安全模式，加载fsimage到内存并合并edits日志，确保元数据完整性，待条件]]></description><category></category></item><item><title><![CDATA[Yarn 详细指南：从基础概念到实战操作]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/148098020</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/148098020</guid><author>a88d266</author><pubDate>Tue, 20 May 2025 20:20:34 +0800</pubDate><description><![CDATA[Yarn（Yet Another Resource Negotiator）是Hadoop生态系统中的核心资源管理框架，负责集群资源的统一管理和任务调度。其核心组件包括ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）和Container。RM作为主节点，负责全局资源分配和调度；NM作为从节点，管理单个节点的资源；AM为应用程序申请资源并监控任务运行；Container则是资源分配的最小单位，隔离不同应用的资源使用。Yarn通过动态资源调度机制，]]></description><category></category></item><item><title><![CDATA[深入理解 HDFS 的安全模式]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/148097879</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/148097879</guid><author>a88d266</author><pubDate>Tue, 20 May 2025 20:07:02 +0800</pubDate><description><![CDATA[这个参数主要关注集群的可用性，当设定一个大于 0 的值时，NameNode 在判断是否可以离开安全模式时，会确保至少有指定数量的 DataNode 是可用的，这样可以保证在退出安全模式后，集群有足够的节点来进行数据块的复制和恢复等操作。此时的 NameNode 对于客户端来说是只读的，这是因为在启动过程中，NameNode 需要完成诸多重要任务，如从所有的 DataNode 接收心跳信号和块状态报告（blockreport） ，以此来全面了解集群的状态和数据块的分布情况。二、离开安全模式的条件​。]]></description><category></category></item><item><title><![CDATA[加密算法(对称非对称)]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/147878780</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/147878780</guid><author>a88d266</author><pubDate>Sun, 11 May 2025 21:03:55 +0800</pubDate><description><![CDATA[中，首先使用非对称加密建立安全连接，交换对称密钥，之后的大量数据传输则使用对称加密，既保证了密钥交换的安全性，又实现了数据传输的高效性。这种方式在许多现代安全通信系统中被广泛采用。在实际应用中，非对称加密和对称加密经常结合使用，以结合两者的优势。和S/MIME协议利用非对称加密来保护邮件内容的隐私。]]></description><category></category></item><item><title><![CDATA[推荐MYSQL8.0的安装]]></title><link>https://blog.youkuaiyun.com/a88d266/article/details/147779233</link><guid>https://blog.youkuaiyun.com/a88d266/article/details/147779233</guid><author>a88d266</author><pubDate>Thu, 08 May 2025 08:30:09 +0800</pubDate><description><![CDATA[mysql --> SUN公司 -->Java --> Oracle --> 所以外界一直担心mysql被干死 -->mysql创始人单干了。z 代表的意思是使用到了gzip这个软件，一般用于解压  .gz 压缩包，假如没有，就不要使用 z。--> mysql5.5的基础之上写了一个mariadb 外界也开始使用mariadb。systemctl status mysqld   查看mysql的状态。先将密码修改成一个复杂的密码：q。2、查看是否有mysql数据库。3、依次安装所需服务。]]></description><category></category></item></channel></rss>