- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Lecture 7 Spark Core-RDD持久化
A3:转换算子的返回值100%是RDD, 而Action算子的返回值100%不是RDD. 转换算子是懒加载的, 只有遇到Action才会执行. Action就是转换算子处理链条的开关.CheckPoint是重量级保存RDD数据, 是集中存储, 只能存储在硬盘(HDFS)上, 设计上是安全的(不保留 RDD血缘关系)Cache是轻量化保存RDD数据, 可存储在内存和硬盘, 是分散存储, 设计上数据是不安全的(保留RDD 血缘关系)即，RDD缓存是一个整体，但是分散存储在各个节点（硬盘或内存）上。
2024-04-17 13:29:15
1011
2
原创 Lecture 8 Flink流处理-Kafka简介与基本使用(Appendix Ⅰ)
认识一个新框架的时候，先要知道这个东西干什么用的，具体有哪些实际应用场景，根据它的应用场景去初步推测它的架构（包括数据结构，设计模式等）是怎样的，而不是上来就看定义概念。
2024-04-07 12:13:48
1232
转载 pytorch修改网络结构后如何加装预训练模型
如果不知道如何使用预训练模型训练的朋友，使用resnet18模型训练自己的数据集的教程请看这篇博客一、如果我们网络没任何修改还是训练imagenet的数据集，1000个类别，那么只需以下代码：model_ft = models.resnet18(pretrained=True)model_ft = model_ft.to(device)二、如果只修改训练自己数据集类别如果我们训练自己的数据集，假如自己的数据集只有10个类别，那么需先加载预训练模型，然后修改最后的全连接层，改成以下代码加
2021-05-19 19:37:34
2276
3
原创 Ubuntu20.04无ifconfig命令解决办法
执行命令sudo /sbin/dhclient然后apt install net-tools注明：此方法治标不治本
2021-03-09 21:22:04
1983
1
转载 数学基础知识之贝叶斯相关
从贝叶斯定理说开去罗朝辉 (http://kesalin.github.io/)CC 许可，转载请署名并保留出处简介贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，...
2020-11-30 21:08:27
1313
转载 计算机视觉系列之一文看尽 GAN 的前世今生
当 Ian Goodfellow 在 2014 年喝了一杯啤酒之后，在梦中产生了「生成对抗网络」（GANs）的想法时，他可能没想到这一领域进展如此之快：
2020-11-30 19:49:14
1285
转载 深度学习系列之随机梯度下降（SGD）优化算法及可视化
补充在前：实际上在我使用LSTM为流量基线建模时候，发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus，对应的梯度算法是adam、mom、rmsprop、sgd，效果最好的组合是：prelu+rmsprop。我的代码如下：
2020-11-30 19:43:31
3687
2
原创 机器学习理解概念系列——ROC曲线
案例描述：在一个癌症数据集中，有80000个标签为不是癌症的记为负类（negtive），150个标签为是癌症的记为正类（positive），实际上我们的目标就是第一，在测试集测试的时候让这些正样本能够尽可能多得预测出来（TP）。第二，我们不希望模型把一个正常样本预测为患癌（FP）（那不得把人吓死）。在目标第一点第二点中都提到了正类，说明影响模型可靠性的也是这些正类，我们的关注点也正是这些正类。而ROC曲线正好能够反应出来，尤其是在样本不均衡时。1.ROC曲线相关知识横轴：负正类率(false p
2020-07-28 12:58:28
1533
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人