- 博客(51)
- 收藏
- 关注
RSS订阅原创 在group by分组的时候，某个key过多导致数据倾斜
在进行 group by 之前，先给每个 user_id 增加一个随机前缀，使得原本相同的 user_id 被打散到不同的分组中。在第一步的基础上，去掉前缀，再进行一次分组和聚合，得到最终的结果。对带有随机前缀的 user_id 进行分组和聚合。按带前缀的 key 进行分组。
2024-09-14 12:18:52
305
原创 HDFS体系架构&文件写入/下载流程
HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是Hadoop项目中的一个核心组件，旨在以高容错、高吞吐量来处理大规模数据集。NameNode 创建一个新文件条目，返回给客户端数据块的位置信息（即哪些 DataNode 将存储数据块的副本）。DataNode 向 NameNode 报告已存储的数据块信息。客户端 按顺序将数据块写入到指定的 DataNode。NameNode 返回文件的元数据和数据块位置信息。客户端 汇总数据块，呈现完整文件。
2024-07-10 13:53:26
498
原创 Java基础面试题（简单版）：
2）提供公共的（public）set/get方法，对数据进行判断并赋值 a. 提供“set变量名(参数)”方法，用于设置成员变量的值，方法用public修饰 b. 提供“get变量名()”方法，用于获取成员变量的值，方法用public修饰。可以说ArrayList和LinkedList除了是同属于集合类，其他都是不同的，因为他们本身的实现是两种不同的实现方式，ArrayList 维护的是一个动态数组，LinkedList维护的是一个双向链表，而他们之间的不同是数组与链表的特性比较。
2024-06-29 09:29:30
533
原创 linux命令---cut与awk的用法
问题：获取ip地址的命令，只输出ip地址 ip addr|grep 'inet'|awk '{print $2}'|cut -d/ -f1
2024-06-05 09:50:00
521
原创 group by报错：[42000][10025] Error while compiling statement: FAILED: SemanticException [Error 10025]:
[42000][10025] Error while compiling statement: FAILED: SemanticException [Error 10025]: Line 1:11 Expression not in GROUP BY key 'xxxx'
2024-05-29 11:54:13
399
原创 Java版九九乘法表的实现
上次发布过Python的九九乘法表的设计与实现，这次改用java版本，java语言确实没有Python语言简洁，这得益于Python拥有强大的内部方法的缘故。
2024-03-25 08:55:04
285
1
原创 Python 九九乘法表的四种形状
好久没有写代码了，今天练习一下这些基础知识，以后也会持续更新学习日常，为了工作而努力进步，一起进步加油同学们！
2024-03-14 14:31:30
410
1
原创 批量更改文件后缀名
批量更改图片文件的后缀名：第一步：新建txt文件，打开文件，将以下内容放入文件中：ren(空格)*.【原后缀名】(空格)*.【想要修改成的后缀名】第二步：将txt文件后缀名改成bat可执行文件第三步：双击bat文件ji'ke...
2022-05-13 18:28:08
576
2
原创 2022版IDEA创建web项目方法
新版本的IDEA创建项目方法发生了变化比起过往版本更加简单便捷。2022版IDEA创建项目步骤：第一步：File-New-Project第二步：点击New Project：输入项目名称Name输入项目路径：Location勾选Create Git repository选择jdk版本点击创建Create第三步：右键项目名称选择Add Frameworks Support勾选Web Application创建成功！...
2022-04-25 17:48:41
14452
9
原创 Tomcat服务器软件的简单介绍
1.下载：Apache Tomcat® - Welcome!2.安装：解压即可3.卸载：删除目录即可4.启动：bin/startup.bat访问：http://localhost:8080 回车访问自己的tomcat*可能遇到的问题：黑窗一闪而过：需要正常配置JAVA_HOME5.关闭：##### *正常关闭：bin/shutdown.bat ctrl+c*强制关闭：点击窗口的x6.配置：*部署项目的方式：1.将项目直接放到webapps中*/hello：项目
2022-04-04 18:11:42
1180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人