- 博客(22)
- 收藏
- 关注
RSS订阅原创 学习笔记：使用Spark进行特征向量统计分析
带权重的均值：[3.333333333333333, 5.0, 6.333333333333333]我们有两个样本，每个样本由一个三维特征向量和一个权重组成。在给定的数据集中，计算带权重和不带权重的特征向量的均值和方差。不带权重的均值：[3.0, 4.5, 6.0]不带权重的方差：[2.0, 4.5, 2.0]带权重的方差：[2.0, 4.5, 2.0]
2023-07-15 19:13:04
195
原创 特征与标签关联性分析 - 卡方独立性检验
在机器学习和数据分析中，了解特征与标签之间的关联性是非常重要的。卡方独立性检验是一种常用的统计方法，用于确定两个变量是否独立。在Spark中，可以使用ML库中的ChiSquareTest类来执行卡方独立性检验。
2023-07-15 18:37:59
496
原创 scala spark ml相关性矩阵解读（Pearson/Spearman）
scala spark ml相关性矩阵解读（Pearson/Spearman）
2023-07-15 17:56:22
338
1
原创 HBase 常用的Shell命令
注意：delete 命令不能跨列族操作，如果需要删除表中的某一行数据，则需要使用 deleteall 命令，此时不需要指定列族和列的名称。注意：delete 操作并不会马上删除数据，只会将对应的数据打上删除标记，只有在HBase底层合并数据时，数据才会被真正删除。命令：put ‘表名’,‘Rowkey’,‘列族:列’,'value’命令：delete ‘表名’,‘Rowkey’,‘列族:列’,时间戳。命令：get ‘表名’,‘Rowkey’,‘列族:列’命令：get ‘表名’,‘Rowkey’,'列族’
2023-05-23 19:11:10
2968
原创 spark运行任务时报错：Exception in thread “main“ java.sql.SQLException: No suitable driver
今天在跑spark代码的时候，遇到这个报错，我回去看了几遍代码都觉得代码没问题，后来看到。缺少驱动，我在建立mysql连接的时候，加上了。这篇博客问题得到解决。
2023-04-05 10:51:27
497
原创 Failed to load class “org.slf4j.impl.StaticLoggerBinder“.解决办法
记录今天在学习中执行代码中遇到Failed to load class "org.slf4j.impl.StaticLoggerBinder".的报错这个报错的原因是因为没有加载这个slf4j这个类。
2023-04-01 12:12:51
1190
空空如也
HuDi写入数据，只有表没有数据，这是为啥呀
2023-07-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人