- 博客(10)
- 收藏
- 关注
RSS订阅原创 apache-kylin-4.0.4-bin-spark3（使用mysql存储元数据）下载安装部署
本文介绍了Apache Kylin 4.0.4的完整安装配置流程：1）从官网下载安装包并解压；2）配置环境变量（KYLIN_HOME、Hadoop、Hive路径）；3）MySQL数据库准备（降低密码强度、创建kylin数据库和用户）；4）修改kylin.properties配置文件（设置Zookeeper、Hadoop、MySQL元数据存储等参数）；5）将MySQL驱动放入bin目录；6）按顺序启动HDFS、YARN、Hive、Zookeeper和Kylin服务。配置重点包括元数据存储切换为MySQL、Sp
2026-07-02 08:58:48
384
原创 神人笔记（RDD算子分类篇）
Spark RDD算子分为转换算子（Transformation）和行动算子（Action）两类。转换算子（如map、filter、groupByKey等）采用lazy模式，只定义不执行，返回值仍为RDD；行动算子（如count、collect、saveAsTextFile等）会触发job执行，返回非RDD结果。常用算子功能可与SQL操作类比：filter对应where、map处理数据转换、reduceByKey实现分组聚合等。其中涉及shuffle的算子（如reduceByKey、join等）会影响性能。
2026-05-18 20:18:03
47
原创 排序后的生死抉择：collect 还是 take？
在Spark中使用sortBy后，建议使用take(n)而非collect()来获取排序结果。take(n)能高效获取前n条有序数据，而collect()会收集全部数据到Driver端，可能导致大数据量时内存溢出且无法保证分区间的顺序。当需要保留大量排序数据时，应将结果直接写入文件或数据库，而非使用collect()。对于小数据集（<1KB），collect()可以保持顺序，但大数据集的分区间顺序无法保证。
2026-05-18 20:09:17
42
原创 Hive 与数据的“替身文学”：load 是搬运，put 是偷渡，as 是克隆，like 是借尸还魂
再思考一个问题：既然hive中的数据是在hdfs上的，我们也可以手动的上传数据，能上传至/home，为何不能上传至：/user/hive/warehouse/yhdb.db/t_user。你能够看到里面的数据，并且没有乱码，原因是stored as textfile。查看hdfs上的user.txt 发现不见了，去哪里了，被移动走了！hive中的数据，不要load 也可以被正常使用。思考一下：为什么是移动，而不是复制？查看数据，发现有两份，想覆盖怎么办？创建一个文件 user.txt。
2026-04-10 19:44:58
302
原创 三刃封魔斩：awk + sed + grep 联合出击
以上的替换都是没有修改原来的数据的，sed也可以直接对原数据进行直接更改。-w 匹配整个单词（不匹配单词的一部分）-C n 显示匹配行及前后各 n 行。-v 反向匹配，显示不包含模式的行。-A n 显示匹配行及后面 n 行。-B n 显示匹配行及前面 n 行。--color 高亮显示匹配的文本。例子：列出6.txt中的3~5行的数据。-L 只显示不包含匹配的文件名。-l 只显示包含匹配的文件名。-n 显示匹配行的行号。-c 只统计匹配的行数。
2026-04-10 19:32:45
674
原创 metastore,hiveserver2两个服务的便捷启动脚本
经常启动metastore 以及hiveserver2这两个服务，命令有点长，为了长期使用，可以编写一个命令：hive-service-manager.sh存放在/usr/local/bin下。
2026-04-09 19:25:47
391
原创 MapReduce的工作流程
mapreduce工作流程 0. 任务提交1. 拆-split逻辑切片--任务切分。 FileInputFormat--split切片计算工具 FileSplit--单个计算任务的数据范围。2. 获得split信息和个数。# MapTask阶段1. 读取split范围内的数据。k(偏移量)-v(行数据) 关键API：TextInputFormat。2. 循环调用mapper.map(k,v) 关键代码： while(xx.next){ map
2026-04-08 19:26:40
389
原创 ZooKeeper入门及安装，kafka-ui安装
ZooKeeper是一个分布式协调服务框架，为分布式应用提供一致性服务。它具有高可用性（半数节点存活即可工作）、数据一致性和顺序性等特点。安装配置包括解压、修改配置文件、设置环境变量等步骤。通过zkCli.sh可以进行节点创建（临时/永久节点）、数据读写、监听变更等操作。ZooKeeper广泛应用于Hadoop、Kafka等系统的集群管理，解决分布式环境下的协调问题。
2026-04-07 20:14:01
1141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人