<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[罗仲虎的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/LUOHU11</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; LUOHU11]]></copyright><item><title><![CDATA[Deepseek本地部署]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/145514600</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/145514600</guid><author>LUOHU11</author><pubDate>Sat, 08 Feb 2025 14:33:16 +0800</pubDate><description><![CDATA[本文主要介绍安装DeepSeek。]]></description><category></category></item><item><title><![CDATA[大数据运维管理体系的搭建]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/145077215</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/145077215</guid><author>LUOHU11</author><pubDate>Sun, 12 Jan 2025 11:49:08 +0800</pubDate><description><![CDATA[主动性主动事务：由运维团队预先规划和执行，旨在提升系统性能或预防潜在问题。被动事务：由系统故障或外部因素引发，需立即响应和处理。可预防性可预防事务：通过有效的监控和维护措施，可以预先识别并避免潜在问题。不可预防事务：难以提前预测，需要在问题发生后进行应急处理。紧急性紧急事务：一旦发生，需要立即采取行动以防止系统进一步恶化或业务中断。非紧急事务：问题影响较小，可以在一定时间内计划解决，不会立即影响业务运行。解决周期快速解决事务：问题可以在短时间内通过常规手段解决，恢复系统正常运行。]]></description><category></category></item><item><title><![CDATA[Apache Hudi vs Delta Lake vs Apache Iceberg]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/145022806</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/145022806</guid><author>LUOHU11</author><pubDate>Fri, 10 Jan 2025 23:26:06 +0800</pubDate><description><![CDATA[（查询是否可以基于定义在列值上的函数进行数据跳过，除了字面上的列值之外？（我可以配置一个单一的标准文件大小，以在任何写入表时自动强制执行吗？（我可以避免将所有基础文件与所有传入的更新/删除记录进行合并吗？（我可以在不重写数据的情况下将数据就地升级到系统中吗？（我可以保存数据的快照，然后将表恢复到该状态吗？我可以使用命令行界面（CLI）来管理我的表格吗？（我可以同时对表运行不同的写入器和表服务吗？（我可以在使用过程中持续更改表的分区结构吗？（我可以在写入时对数据进行提交前的转换吗？]]></description><category></category></item><item><title><![CDATA[CDP集成Hudi实战-Hive]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144929050</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144929050</guid><author>LUOHU11</author><pubDate>Sun, 05 Jan 2025 09:01:02 +0800</pubDate><description><![CDATA[〇]关于本文本文测试一下使用Hive和Hudi的集成。]]></description><category></category></item><item><title><![CDATA[CDP集成Hudi实战-文件存储布局实况讲解]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144927663</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144927663</guid><author>LUOHU11</author><pubDate>Sat, 04 Jan 2025 13:21:42 +0800</pubDate><description><![CDATA[这是 Hudi 表的根目录，所有表数据、元数据和日志都存储在该目录中。.hoodie是 Hudi 的元数据目录，存储管理 Hudi 表的各种元数据和临时文件。是 Hudi 表的辅助目录，主要用来支持引导（bootstrap）功能，帮助将非 Hudi 数据集转化为 Hudi 表，同时记录文件和分区的信息。它不会存储实际数据，而是为 Hudi 提供管理这些数据所需的元数据。所以，简单来说：.aux用于存储 Hudi 表的模式文件。]]></description><category></category></item><item><title><![CDATA[CDP集成Hudi实战-spark shell]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144908398</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144908398</guid><author>LUOHU11</author><pubDate>Sat, 04 Jan 2025 00:06:03 +0800</pubDate><description><![CDATA[​​​​​​​Hudi提供了多种写操作——包括批量和增量写操作——以将数据写入Hudi表，这些操作具有不同的语义和性能。当未配置记录键（请参见下面的键）时，将选择bulk_insert作为写操作，这与Spark的Parquet数据源的非默认行为相匹配。首次提交将自动初始化表，如果指定的基本路径中尚不存在该表。]]></description><category></category></item><item><title><![CDATA[Hudi核心概念-表&查询类型]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144907973</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144907973</guid><author>LUOHU11</author><pubDate>Fri, 03 Jan 2025 13:23:43 +0800</pubDate><description><![CDATA[Hudi表类型定义了数据的存储方式以及写操作在表上的实现方式（即数据如何写入）。相应地，查询类型定义了底层数据如何暴露给查询（即数据如何读取）。表与查询图：表与查询Hudi 引入了以下表类型，这些类型现在已被广泛应用于整个行业，用于权衡不同的性能和需求。写时复制（CoW）表类型针对读密集型工作负载进行了优化。在此模式下，记录的更新或删除操作会触发文件组中新基文件的创建，而不会写入日志文件。这确保了每次查询只需读取基文件，从而提供高读取性能，并且无需动态合并日志文件。]]></description><category></category></item><item><title><![CDATA[Hudi核心概念-索引]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144907210</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144907210</guid><author>LUOHU11</author><pubDate>Fri, 03 Jan 2025 12:15:12 +0800</pubDate><description><![CDATA[全局索引提供了更强的保证，但更新/删除的成本可能会随着表的大小增长，复杂度为 O(表的大小)O(表的大小)，因为记录可能属于存储中的任意分区。由于Hudi的设计在处理可变的变更流方面经过了大量优化，且具有不同的写入模式，Hudi将索引视为其设计的一个核心部分，并自项目初始就独特地支持索引功能，旨在加速数据湖仓的写入操作，同时仍保持列式查询的性能。尽管如此，非全局索引能够提供更高的性能，因为索引查找操作的复杂度为 O(更新/删除的记录数)O(更新/删除的记录数)，并且能够很好地适应较大的写入量。]]></description><category></category></item><item><title><![CDATA[Hudi核心概念-文件存储布局]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144900180</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144900180</guid><author>LUOHU11</author><pubDate>Fri, 03 Jan 2025 09:15:37 +0800</pubDate><description><![CDATA[以下内容描述了 Hudi 表在存储中一般的文件组织结构。.hoodie。]]></description><category></category></item><item><title><![CDATA[Hudi核心概念-时间线]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144885617</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144885617</guid><author>LUOHU11</author><pubDate>Fri, 03 Jan 2025 08:56:27 +0800</pubDate><description><![CDATA[表状态的变化（写入、表服务、模式更改等）被记录为 Hudi 时间线中的动作。Hudi 时间线是一个记录在不同时间点（瞬间）对表执行的所有操作的日志。它是 Hudi 架构的关键组成部分，作为表状态的真实来源。时间线上使用的所有瞬时时间都遵循 TrueTime 语义，并在涉及的各种进程中全局单调递增。有关更多详细信息，请参阅下面的 TrueTime 部分。]]></description><category></category></item><item><title><![CDATA[CDP集成Hudi实战-编译部署]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144867747</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144867747</guid><author>LUOHU11</author><pubDate>Thu, 02 Jan 2025 13:10:10 +0800</pubDate><description><![CDATA[Hudi 1.0.0 是一个重要的里程碑版本，重点改进了数据格式、性能和并发写入支持，同时引入了更灵活的索引和文件格式管理，为用户带来了更高的可扩展性和易用性。本文是关于如何在CDP-7.3.1的环境下编译部署Hudi-1.0.0。]]></description><category></category></item><item><title><![CDATA[CDP集群安全指南-动态数据加密]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144883283</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144883283</guid><author>LUOHU11</author><pubDate>Thu, 02 Jan 2025 12:35:13 +0800</pubDate><description><![CDATA[集群的动态数据加密主要指的是加密通过网络协议传输的数据，防止数据在传输的过程中被窃取。由于大数据设计的主机及服务众多。你需要更具集群的实际环境来评估需要为哪些环节实施动态加密。这里我们介绍一种通过Cloudera Manager 的Auto-TLS功能来为整个Cloudera Manager层面开启动态加密的步骤。开启后将会发生以下变化我这里只为Cloudera Manager开启TLS 加密，并不打算为CDP的服务启用TLS/SSL，因为开启后所有服务的使用方式都会发生改变。这是一个非常大的变更。]]></description><category></category></item><item><title><![CDATA[开放表格式与开放数据湖仓的视角分析]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144862270</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144862270</guid><author>LUOHU11</author><pubDate>Wed, 01 Jan 2025 12:13:30 +0800</pubDate><description><![CDATA[如今，围绕的讨论异常火热。这种架构将两种主流的数据存储技术——和相结合，承诺以更少的成本实现更多的功能。同时，由于客户对灵活性和开放性的需求，所有主要的数据仓库厂商都已经开始支持。在这一领域，和这三个项目成为了焦点，也成为厂商在这一技术方向上博弈的关键。这些项目为构建开放且可适应的基础架构铺平了道路，使企业能够根据自身的特定工作负载选择合适的计算引擎，从而避免被专有存储格式所限制。]]></description><category></category></item><item><title><![CDATA[CDP集群安全指南-静态数据加密]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144848909</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144848909</guid><author>LUOHU11</author><pubDate>Tue, 31 Dec 2024 15:46:51 +0800</pubDate><description><![CDATA[loudera 支持两种加密组件，这些组件可以组合成独特的解决方案。在选择密钥管理系统（KMS）时，您需要决定哪些组件能够满足企业的密钥管理和加密需求。Ranger 扩展了 Hadoop 原生 KMS 的功能，允许将密钥存储在安全的数据库中。它是一个支持 HDFS TDE（透明数据加密）的密码密钥管理服务，但并非通用密钥管理系统。与 Hadoop KMS 不同，Hadoop KMS 将密钥存储在基于文件的 Java Keystore 中，仅能通过 KeyProvider API 访问。]]></description><category></category></item><item><title><![CDATA[深入解析 Cloudera 混合数据湖库的下一阶段]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144848390</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144848390</guid><author>LUOHU11</author><pubDate>Tue, 31 Dec 2024 13:46:23 +0800</pubDate><description><![CDATA[人工智能（AI）正蓄势待发，重塑几乎每个行业的运营方式。根据Cloudera的研究，超过三分之一（36%）的美国企业处于探索人工智能应用潜力的初期阶段。然而，即便AI的应用正在崛起，许多企业仍面临着挑战。无论是AI还是其他形式的分析，其质量都依赖于其所基于的数据。而问题的关键就在于此。许多组织难以访问和收集分散且孤立的数据，这些数据分布在不同的环境中，而这些数据又是驱动AI所必需的。这使得许多企业无法实现他们对业务洞察和价值的期望。]]></description><category></category></item><item><title><![CDATA[​​​​​​​CDP集群安全指南系列文章导读]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144630788</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144630788</guid><author>LUOHU11</author><pubDate>Tue, 31 Dec 2024 13:19:51 +0800</pubDate><description><![CDATA[身份验证是任何计算环境的基本安全要求。由于 Hadoop 将多个不同且先前独立的 IT 系统的功能整合为一个企业数据中心，用于存储和处理组织内的所有数据，因此需要多种授权控制，具有不同的细粒度。由于 SSL 的术语仍被广泛使用，Cloudera 的软件和文档中将 TLS 称为 TLS/SSL，但实际上使用的协议是 TLS。如何你长期管理过CDP集群，你就会发现，一旦集群开启了Kerberos认证，如果有新的用户或者业务要访问集群，新用户或业务所在的服务器也必须被纳入集群的Kerberos认证体系内。]]></description><category></category></item><item><title><![CDATA[CDP集群安全指南-开启Ldap认证篇]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144802265</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144802265</guid><author>LUOHU11</author><pubDate>Sun, 29 Dec 2024 15:15:01 +0800</pubDate><description><![CDATA[如果你现在看完了之前的文章，你会发现，你现在有很多用户密码。登录Cloudera Manager的用户密码Kerberos的用户密码Hue的用户密码。这些都是独立的认证系统。可以想象作为运维单是管理这些账号就要花费大量精力。不！！！我每天这么忙还要管理这么多账号密码！！！接下来我们要做的事情就是把这些系统的认证都接入Active Directory的Ldap协议里，这样我们只要管理AD中的用户就可以了。]]></description><category></category></item><item><title><![CDATA[CDP集群安全指南-开启Knox网关篇]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144800847</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144800847</guid><author>LUOHU11</author><pubDate>Sun, 29 Dec 2024 11:04:38 +0800</pubDate><description><![CDATA[Apache Knox Gateway（简称“Knox”）是一个系统，旨在不降低Hadoop安全性的前提下，将Apache™ Hadoop®服务的范围扩展到Hadoop集群外部的用户。Knox还为访问集群数据和执行作业的用户简化了Hadoop安全性。Knox Gateway被设计为反向代理。在Hadoop中，通过强身份验证建立用户身份是实现安全访问的基础。用户需要可靠地进行身份验证，然后该身份将在整个Hadoop集群中传播，以便访问集群资源。]]></description><category></category></item><item><title><![CDATA[CDP集群安全指南-开启Ranger授权和审计篇]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144797022</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144797022</guid><author>LUOHU11</author><pubDate>Sat, 28 Dec 2024 23:47:55 +0800</pubDate><description><![CDATA[审核更改
	命令详细信息
	汇总
[二]开启服务的Ranger授权

1-开启hdfs的ranger授权

2-开启Yarn的Ranger授权

3-开启hive的Ranger授权

4-开启hive on tez的ranger授权

5-开启Impala的Ranger授权

6-开启Hbase的Ranger授权]]></description><category></category></item><item><title><![CDATA[Cloudera集群运维-关于kerberos加密算法的配置梳理]]></title><link>https://blog.youkuaiyun.com/LUOHU11/article/details/144762736</link><guid>https://blog.youkuaiyun.com/LUOHU11/article/details/144762736</guid><author>LUOHU11</author><pubDate>Sat, 28 Dec 2024 14:53:40 +0800</pubDate><description><![CDATA[TKT，即票据授予票据，可以形象地比喻为一把“万能钥匙”。在Kerberos认证系统中，当你（作为客户端）想要访问某个服务（如服务器上的某个文件或数据库）时，你首先需要向Kerberos认证中心（Key Distribution Center, KDC）证明你的身份。这个属性对于Kerberos认证过程尤为重要，因为它决定了在AD环境中，哪些加密类型可以被用于票据（ticket）的加密和会话密钥的生成。当你（持有TKT的客户端）来到这个中心，并请求访问某个特定服务的权限时，TGS会检查你的TKT是否有效。]]></description><category></category></item></channel></rss>