- 博客(20)
- 收藏
- 关注
RSS订阅原创 数据倾斜处理方法
提前使用Hive ETL对数据进行预聚合将数据倾斜的操作提前到了hive ETL中，避免spark发生数据倾斜，适合一次操作，多次使用。
2026-10-27 09:02:34
62
原创 【数分】概率论与数理统计
置信区间是区间估计的一种形式，表示在一定置信水平下，总体参数可能落入的数值范围。例如，95% 的置信区间意味着：如果重复抽样多次，大约有95%的区间会包含真实的总体参数。它是统计推断中“频率解释概率”的理论依据，也是抽样调查和估计的基础。，是与原假设对立的假设，表示研究者希望证明的结论。它反映的是存在差异、效应或关系。因此引入区间估计，即构造一个包含真实参数值的区间范围，以体现估计的精度与可靠性。若p值很小，说明在原假设成立的情况下，观测到当前数据或更极端数据的可能性极低，因此有理由怀疑原假设的真实性。
2026-10-26 14:00:34
145
原创 分布式计算系统导论（课后题）
分布式计算系统是由多个相互连接的计算机组成的一个整体，这些计算机在一组系统软件（分布式操作系统或中间件）环境下，合作执行一个共同的或不同的任务，最少依赖于集中的控制过程、数据和硬件。实质：分布计算系统=分布式硬件+分布式控制+分布式数据。开放性是指能否用各种方法进行扩展和重新实现。系统部件软件接口的规范说明书、文档公开。一个系统在资源数量和用户数量增加时仍能有效工作，即可扩展。控制物理资源成本控制性能损失防止资源耗尽避免性能瓶颈。
2023-02-01 17:33:47
1583
2
原创 hadoop3.x——HDFS的API环境准备
windows下的hadoop依赖配置，环境配置，以及idea中的准备工作，包括log4j.properties的内容设置
2022-09-05 08:50:33
536
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人