- 博客(18)
- 资源 (4)
- 收藏
- 关注

原创 自适应性数据中心在线能效预测解决方案
2019华为开发者大赛,SoftCOM通信智能(NAIE)赛道获奖方案分享大赛依托于NAIE平台,从导入数据、特征操作、模型训练,到模型打包与验证,全流程开发算法模型。从琅琊榜上的提交记录可以看到,大家平时学业繁重或是工作繁忙,只能熬夜编码,周末更是黄金时间。除了参赛选手,还有平台团队的陪伴,随时解决大家的疑问。大赛过程中每一个关于平台使用的问题,都会得到及时反馈并有效解决,这一点相信每一位参赛选手都深有体会。所以,文章开始我要向平台团队每一位夜以继日的耕耘者致敬。希望平台越来越棒,这样一个平台也必然越来
2021-03-11 22:32:28
573
1

原创 多个模糊匹配条件下对两个数据集的高效聚合方法(加权最近邻优化)及实例代码
背景介绍:现在某一社交软件,收集各20W+的男女数据集df_T054包括:ID、性别、生日、身高系数、工资系数等信息[‘ID’,‘DataType’,‘CallRecordUEID’,‘Height’,‘Salary’]其中,身高系数、工资系数为male和female各自性别集合里统计出来的标准化数据,例如分位数等。(这样男间女比较身高,薪资才有意义)需求很简单,尽可能为female找到最满...
2019-05-17 22:35:34
1060
7

原创 一个完整的机器学习项目实战代码+数据分析过程:哈佛大学能耗预测项目(Prediction of Buildings Energy Consumption)
能耗预测项目资料获取获取方式一:Prediction of Buildings Energy Consumption项目介绍主页获取方式二:详细相关代码分析结果获取方式三:提取码:9uu2
2019-04-11 23:27:44
9168
18

原创 机器学习算法(降维)总结及sklearn实践——主成分分析(PCA)、核PCA、LLE、流形学习
降维图谱降维什么时候会用到降维维数灾难降维的主要方法1.投影(Projection)主成分分析(PCA)保留最大方差的超平面主成分(Principle Componets)奇异值分解(SVD)投影到 d 维空间Scikit-Learn实现PCA方差解释率(Explained Variance Ratio)核 PCA(Kernel PCA)调整超参数引入模型,通过最优化模型表现调参直接基于最小重建误...
2019-04-03 01:05:24
10091
6
原创 用Echart可视化有向图
option = { title : { text: '轨迹图:所有栅格点', subtext: '数据来历史轨迹序列集合', x:'right', y:'bottom' }, tooltip : { trigger: 'item', formatter: '{a} :...
2019-06-14 21:28:43
3302
2
原创 二叉树的相关算法总结
https://www.jianshu.com/p/81460d22e7bbhttps://blog.youkuaiyun.com/github_38414650/article/details/76862692
2019-05-29 01:30:24
254
原创 推荐系统实践(1)——windows环境下安装scikit-surprise实现协同过滤算法
关于Surprise功能及使用直接看官方文档Surprise是一个用于推荐系统构建和分析的开源库。surprise官方文档(最好的学习资源没有之一):http://surpriselib.com/windows环境下安装scikit-surpriseconda install -c conda-forge scikit-surprise需要注意的是目前清华镜像停止了服务,用清华的可以把...
2019-05-22 23:52:24
647
原创 更新tf后import Tf时,报错:TypeError: __init__() got an unexpected keyword argument 'serialized_options'
conda list看看本地tensorflow版本应该不是最新的版本吧两次卸载重新安装最新tensorflowpip3 uninstall tensorflowpip3 uninstall tensorflow确认卸载干净:pip3 install --user --upgrade tensorflowOK!!...
2019-05-17 01:05:02
375
原创 使用Tensorflow中的tf.keras库报错:ModuleNotFoundError: No module named ‘tensorflow.keras’
Tensorflow版本过低,更新tf: pip3 install --user --upgrade tensorflowtf.keras 和 keras有什么区别?:https://blog.youkuaiyun.com/hellocsz/article/details/88875304修改keras后端:https://www.jianshu.com/p/13894be77908...
2019-05-17 01:03:26
2747
原创 波若波罗蜜心经学习心得
全文观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。舍利子,是诸法空相,不生不灭,不垢不净,不增不减。是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界,无无明,亦无无明尽,乃至无老死,亦无老死尽。无苦集灭道,无智亦无得。以无所得故。菩提萨埵,依般若波罗蜜多故,心无挂碍。无挂碍故,无...
2019-05-05 21:19:26
1132
原创 机器学习算法(回归)总结与深度解析——模型表达、目标函数、求解算法、正则化、Ridge回归、Lasso回归、Logistic回归、Softmax回归、梯度下降算法
回归问题,这里有最细致的推导,最直观的解释,看这个就够了
2019-05-02 20:09:37
1318
8
原创 机器学习常用目标函数、评价指标、Cost function等模型评估方法及sklearn实践
整理中。。。模型评估:量化模型预测质量有3种不同的API用于评估模型预测的质量:Estimator评分方法:Estimators有一种score方法可以为他们设计要解决的问题提供默认评估标准。本页未对此进行讨论,但在每个估算工具的文档中都有讨论。评分参数:使用交叉验证(例如 model_selection.cross_val_score和 model_selection.GridSearc...
2019-04-15 01:58:00
1424
1
原创 基于显著性检验分析两个样本分布相似度及Python实现—— t检验、拟合优度检验、KS检验、Wilcoxon符号秩检验、H检验、Mann-Whitney秩检验、P值的意义、API汇总
在统计学中,差异显著性检验是“统计假设检验”(Statistical hypothesis testing)的一种,用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法。在实验进行过程中,尽管尽量排除随机误差的影响,以突出实验的处理效果,但由于个体间无法避免的差异,以及诸多无法控制的因素,使得实验结果最后表现的观察值处理处理效应之外,还包括实验误差的效应。因此对两个样本进行比较...
2019-04-15 00:16:01
15657
5
原创 机器学习中距离/相似度的度量方法总结——闵科夫斯基距离、杰卡德距离、余弦相似度、Pearson相似系数、相对熵(KL散度)、Hellinger距离
闵科夫斯基距离(Minkowski)计算公式:dist(X,Y)=(∑i=1n∣xi−yi∣p)1pdist(X,Y)=\big(\sum_{i=1}^{n}|x_i-y_i|^p\big)^\frac{1}{p}dist(X,Y)=(i=1∑n∣xi−yi∣p)p1杰卡德距离(Jaccard)计算公式:J(A,B)=∣A⋂B∣∣A⋃B∣J(A,B)=\frac{ |{A} \...
2019-04-02 02:33:19
3458
2
原创 做LR时报错:Input contains NaN, infinity or a value too large for dtype(‘float64’)
问题1:做LR时报错: Input contains NaN, infinity or a value too large for dtype(‘float64’)据未标准化这是因为当您将sigmoid / logit函数应用于您的假设时,输出概率几乎都是大约0或全1并且使用您的成本函数,log(1 - 1)或log(0)将产生-Inf。解决此问题的一种方法是在使用梯度下降进行训练之前对...
2019-04-01 01:23:33
1458
5
原创 李航的十种统计学习方法总结
10种统计学习方法总结 方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 感知机 二分类 分离超平面 判别模型 极小化误分点到超平面距离 误分点到超平面距离 随机梯度下降 k近邻 多分类、回归 特征空间、样本点 判别模型 K-NN不具有显式的学习过程 朴素贝叶斯法 ...
2018-08-13 23:07:45
1840
Log-linear models and conditional random fields
2019-04-23
哈佛大学能耗预测项目(Prediction of Buildings Energy Consumption)代码+分析过程
2019-04-17
Data Mining: Concepts and Techniques.pdf
2017-06-14
Data Mining.pdf
2017-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人