<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lylbzw的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lylbzw</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lylbzw]]></copyright><item><title><![CDATA[apache-kylin-4.0.4-bin-spark3（使用mysql存储元数据）下载安装部署]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/162507460</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/162507460</guid><author>lylbzw</author><pubDate>Thu, 02 Jul 2026 08:58:48 +0800</pubDate><description><![CDATA[本文介绍了Apache Kylin 4.0.4的完整安装配置流程：1）从官网下载安装包并解压；2）配置环境变量（KYLIN_HOME、Hadoop、Hive路径）；3）MySQL数据库准备（降低密码强度、创建kylin数据库和用户）；4）修改kylin.properties配置文件（设置Zookeeper、Hadoop、MySQL元数据存储等参数）；5）将MySQL驱动放入bin目录；6）按顺序启动HDFS、YARN、Hive、Zookeeper和Kylin服务。配置重点包括元数据存储切换为MySQL、Sp]]></description><category></category></item><item><title><![CDATA[神人笔记（RDD算子分类篇）]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/161200867</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/161200867</guid><author>lylbzw</author><pubDate>Mon, 18 May 2026 20:18:03 +0800</pubDate><description><![CDATA[Spark RDD算子分为转换算子（Transformation）和行动算子（Action）两类。转换算子（如map、filter、groupByKey等）采用lazy模式，只定义不执行，返回值仍为RDD；行动算子（如count、collect、saveAsTextFile等）会触发job执行，返回非RDD结果。常用算子功能可与SQL操作类比：filter对应where、map处理数据转换、reduceByKey实现分组聚合等。其中涉及shuffle的算子（如reduceByKey、join等）会影响性能。]]></description><category></category></item><item><title><![CDATA[排序后的生死抉择：collect 还是 take？]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/161200631</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/161200631</guid><author>lylbzw</author><pubDate>Mon, 18 May 2026 20:09:17 +0800</pubDate><description><![CDATA[在Spark中使用sortBy后，建议使用take(n)而非collect()来获取排序结果。take(n)能高效获取前n条有序数据，而collect()会收集全部数据到Driver端，可能导致大数据量时内存溢出且无法保证分区间的顺序。当需要保留大量排序数据时，应将结果直接写入文件或数据库，而非使用collect()。对于小数据集（&lt;1KB），collect()可以保持顺序，但大数据集的分区间顺序无法保证。]]></description><category></category></item><item><title><![CDATA[Hive 与数据的“替身文学”：load 是搬运，put 是偷渡，as 是克隆，like 是借尸还魂]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/160029941</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/160029941</guid><author>lylbzw</author><pubDate>Fri, 10 Apr 2026 19:44:58 +0800</pubDate><description><![CDATA[再思考一个问题：既然hive中的数据是在hdfs上的，我们也可以手动的上传数据，能上传至/home，为何不能上传至：/user/hive/warehouse/yhdb.db/t_user。你能够看到里面的数据，并且没有乱码，原因是stored as textfile。查看hdfs上的user.txt 发现不见了，去哪里了，被移动走了！hive中的数据，不要load 也可以被正常使用。思考一下：为什么是移动，而不是复制？查看数据，发现有两份，想覆盖怎么办？创建一个文件 user.txt。]]></description><category></category></item><item><title><![CDATA[三刃封魔斩：awk + sed + grep 联合出击]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/160027535</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/160027535</guid><author>lylbzw</author><pubDate>Fri, 10 Apr 2026 19:32:45 +0800</pubDate><description><![CDATA[以上的替换都是没有修改原来的数据的，sed也可以直接对原数据进行直接更改。-w    匹配整个单词（不匹配单词的一部分）-C n    显示匹配行及前后各 n 行。-v    反向匹配，显示不包含模式的行。-A n    显示匹配行及后面 n 行。-B n    显示匹配行及前面 n 行。--color    高亮显示匹配的文本。例子：列出6.txt中的3~5行的数据。-L    只显示不包含匹配的文件名。-l    只显示包含匹配的文件名。-n    显示匹配行的行号。-c    只统计匹配的行数。]]></description><category></category></item><item><title><![CDATA[metastore,hiveserver2两个服务的便捷启动脚本]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/159994703</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/159994703</guid><author>lylbzw</author><pubDate>Thu, 09 Apr 2026 19:25:47 +0800</pubDate><description><![CDATA[经常启动metastore 以及hiveserver2这两个服务，命令有点长，为了长期使用，可以编写一个命令：hive-service-manager.sh存放在/usr/local/bin下。]]></description><category></category></item><item><title><![CDATA[Linux常用命令(包常用的老铁0.0)]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/159994365</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/159994365</guid><author>lylbzw</author><pubDate>Thu, 09 Apr 2026 19:14:39 +0800</pubDate><description><![CDATA[作用：显示指定工作目录下之内容ls -a 显示隐藏的文件夹和目录 ls -l 显示详细信息。]]></description><category></category></item><item><title><![CDATA[MapReduce的工作流程]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/159964202</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/159964202</guid><author>lylbzw</author><pubDate>Wed, 08 Apr 2026 19:26:40 +0800</pubDate><description><![CDATA[mapreduce工作流程

 0. 任务提交
1. 拆-split逻辑切片--任务切分。
  FileInputFormat--split切片计算工具
  FileSplit--单个计算任务的数据范围。
2. 获得split信息和个数。# MapTask阶段
1. 读取split范围内的数据。k(偏移量)-v(行数据)
    关键API：TextInputFormat。
2. 循环调用mapper.map(k,v)
   关键代码：
       while(xx.next){
         map]]></description><category></category></item><item><title><![CDATA[zk（zookeeper）的选举机制]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/159963956</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/159963956</guid><author>lylbzw</author><pubDate>Wed, 08 Apr 2026 18:53:12 +0800</pubDate><description><![CDATA[zookeeper的选举机制]]></description><category></category></item><item><title><![CDATA[ZooKeeper入门及安装，kafka-ui安装]]></title><link>https://blog.youkuaiyun.com/lylbzw/article/details/159929162</link><guid>https://blog.youkuaiyun.com/lylbzw/article/details/159929162</guid><author>lylbzw</author><pubDate>Tue, 07 Apr 2026 20:14:01 +0800</pubDate><description><![CDATA[ZooKeeper是一个分布式协调服务框架，为分布式应用提供一致性服务。它具有高可用性（半数节点存活即可工作）、数据一致性和顺序性等特点。安装配置包括解压、修改配置文件、设置环境变量等步骤。通过zkCli.sh可以进行节点创建（临时/永久节点）、数据读写、监听变更等操作。ZooKeeper广泛应用于Hadoop、Kafka等系统的集群管理，解决分布式环境下的协调问题。]]></description><category></category></item></channel></rss>