东木月
编程是为了更深刻的了解这个世界,或者作为自己的职业谋生存。 读书是为了让自己的灵魂得到升华,照亮自己的同时也指引他人。旅行见天地,读书明事理,工作合行知。
展开
-
六种特征标准化处理(特征归一化)方法【附python源码】
特征标准化处理(特征归一化)可以消除单位和尺度差异、适应算法要求、提高数据稳定性,还可以统一数据范围、加速算法收敛、提高模型性能等。原创 2024-12-09 21:35:19 · 94 阅读 · 0 评论 -
数据分析特征标准化方法及其Python实现
最小-最大值标准化Z分数标准化绝对值标准化中位数和四分位数间距(IQR)规范化器原创 2024-12-09 21:24:17 · 462 阅读 · 0 评论 -
数据分析常用的特征选择方法及其Python实现
特征重要性(分类器模型:xgboost、梯度提升、随机森林)卡方检验(统计学,逻辑斯蒂、向量机、贝叶斯)F-value值评估互信息递归特征消除斯皮尔曼秩相关系数原创 2024-12-07 23:48:52 · 462 阅读 · 0 评论 -
如何显示模型特征权重占比图【数据分析】
1、导入库2、加载数据集3、训练模型4、提取特征重要性5、绘制条形图原创 2024-11-09 15:57:52 · 417 阅读 · 0 评论 -
模型训练如何实现自动化输出评估报告、模型、特征平台
模型训练如何实现自动化输出评估报告、模型、特种平台1、设置模型初始准确率期望值与训练轮数2、多个分类器多线程训练3、获取特征并随机划分训练集与测试集4、保存模型、评估报告、特征与对应的训练数据主键(id)原创 2024-09-08 11:50:22 · 757 阅读 · 0 评论 -
卷积神经网络图像识别车辆类型
卷积神经网络图像识别车辆类型1、获取数据,把图像转成矩阵,并随机划分训练集、测试集2、把标签转为数值,将标签向量转换为二值矩阵3、图像数据归一化,0-1之间的值4、构造卷积神经网络5、设置图像输入形状(32, 32, 3)6、设置卷积、池化层输出为三维矩阵7、三维平展为一维,输入全连接层8、输出层使用 softmax 激活函数,用于多分类问题9、初始化 RMSprop 优化器10、编译模型11、添加训练轮数早停止机制12、训练模型13、评估模型,显示评估指标图像14、预测原创 2024-07-14 13:13:47 · 501 阅读 · 0 评论 -
推荐算法的准确率、精准度、召回率、F1值
推荐算法的准确率、精准度、召回率、F1值原创 2024-05-18 17:40:15 · 821 阅读 · 0 评论 -
多种推荐算法综合比较评估指标
系统:图书用户协同推荐系统、网络小说推荐系统、旅游景点推荐系统、课程推荐系统、电影推荐系统算法:用户协同过滤、物品协同过滤、随机森林、图神经网络算法、关联规则推荐算法、kmeans-聚类、神经网络学习原创 2024-05-18 17:47:42 · 223 阅读 · 0 评论 -
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统
基于深度学习神经网络协同过滤模型(NCF)的图书推荐系统登录注册热门图书图书分类图书推荐借阅图书购物图书个人中心可视化大屏后台管理1、对数据进行打标签操作2、定义64个维度针对向量进行处理(神经网络是非线性多维度)3、创建NCF模型4、合并 embeddings向量5、添加全连接层6、编译模型7、模型评估8、模型保存原创 2024-06-17 23:24:30 · 533 阅读 · 2 评论 -
使用tensorflow预测数据集回归曲线
使用tensorflow预测数据回归曲线1、读取数据2、输入层一个神经元,输出层一个神经元,中间 10 个3、设置第一层、第二层神经元4、构建损失函数5、训练6、画图原创 2024-04-16 14:33:46 · 213 阅读 · 0 评论 -
流离无所居
流离之人失归途,逐影追风踏远方。原创 2024-02-27 17:44:45 · 266 阅读 · 0 评论 -
机器学习十大模型算法说明(附python实现代码)
机器学习十大模型算法说明(附python实现代码)k-means、knn、DBSCAN聚类、SVM向量机、逻辑斯蒂回归、贝叶斯、决策树、随机森林、神经网络、CNN卷积原创 2024-01-24 22:24:01 · 229 阅读 · 0 评论 -
Python实现RNN算法对MFCC特征的简单语音识别
Python实现RNN算法对MFCC特征的简单语音识别原创 2023-10-08 15:40:21 · 1028 阅读 · 0 评论 -
k-means获取最佳k值:手肘法与轮廓系数法
k-means获取最佳k值:手肘法与轮廓系数法原创 2023-05-06 22:37:58 · 1733 阅读 · 0 评论 -
windows 的torch.cuda.is_available()为False,安装gpu版本的torch
windows下使用cuda安装gpu版本的torch原创 2023-05-04 22:48:36 · 1422 阅读 · 0 评论 -
python使用svm支持向量机对数据进行分类
python 使用svm支持向量机对数据进行分类原创 2022-10-30 17:40:40 · 645 阅读 · 0 评论 -
AI核心代码,保守估值一个亿(python版)
AI核心代码,保守估值一个亿原创 2022-09-13 11:55:46 · 1409 阅读 · 2 评论 -
python图片识别文字开源库Easyocr使用
python图片提取文字easyocr库使用EasyOCR,在GitHub已有9700star。它可以在python中调用,用来识别图像中的文字,并输出为文本。github查看easyocrOCR作用是对文本资料的图像文件进行分析识别处理,获取文字及版面信息。OCR的全称叫作“Optical Character Recognition”,即光学字符识别。常用场景:文档扫描、车牌识别、证件识别、银行卡识别、票据识别等等。OCR本质是图像识别,其包含两大关键技术:文本检测和文字识别。先将图像中的原创 2022-02-23 11:35:58 · 2503 阅读 · 0 评论 -
python录制音频
python录制音频原创 2022-01-06 17:26:45 · 2511 阅读 · 0 评论 -
多维度特征使用SVM训练与保存调用
多维度特征使用SVM支持向量机训练# !/usr/bin/python# -*- coding: utf-8 -*-"""@contact: 微信 1257309054@file: svm分类器.py@time: 2021/7/1 16:58@author: LDC"""from sklearn.svm import SVCimport joblib# 三维特征训练数据x = [ [1, 0.2, 0.4], [0.09, 0.49, 1.6], [0.5原创 2021-07-03 17:35:20 · 1320 阅读 · 3 评论 -
python机器学习实现线性回归
线性回归【关键词】最小二乘法,线性一、普通线性回归1、原理分类的目标变量是标称型数据,而回归将会对连续型的数据做出预测。 应当怎样从一大堆数据里求出回归方程呢?假定输人数据存放在矩阵X中,而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。现在的问题是,手里有一些X和对应的Y,怎样才能找到W呢?一个常用的方法就是找出使误差...原创 2018-07-28 15:05:30 · 1099 阅读 · 0 评论 -
python机器学习实现逻辑斯蒂回归
逻辑斯蒂回归【关键词】Logistics函数,最大似然估计,梯度下降法1、Logistics回归的原理利用Logistics回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归” 一词源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理。Logist...原创 2018-07-28 15:20:11 · 1151 阅读 · 0 评论 -
python机器学习实现人脸图片自动补全
人脸自动补全1、导包import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport timefrom pandas import DataFrame,Series#导入knn模型包from sklearn.neighbors import KNeighborsRegressorf...原创 2018-07-28 15:48:00 · 1747 阅读 · 1 评论 -
机器学习的分类
机器学习的分类1、机器学习原理2、机器学习分类2.1 有监督学习主要用于决策支持,它利用有标识的历史数据进行训练,以实现对新数据做出预测。2.1.1 分类分类计数预测的数据对象是离散的。如短信是否为垃圾短信,用户是否喜欢电子产品。算法:K近邻、朴素贝叶斯、决策树、SVM2.1.2回归回归技术预测的数据对象是连续值。例如温度变化或时间变化。包...原创 2018-07-28 15:49:24 · 706 阅读 · 0 评论 -
python机器学习实现K-近邻算法(KNN)
机器学习 K-近邻算法(KNN)以下命令都是在浏览器中输入。cmd命令窗口输入:jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 导引如何进行电影分类众所周知,电影可以按照题材分类,然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的...原创 2018-07-25 19:41:41 · 2201 阅读 · 0 评论 -
python机器学习之支持向量机SVM
支持向量机SVM(Support Vector Machine)【关键词】支持向量,最大几何间隔,拉格朗日乘子法一、支持向量机的原理Support Vector Machine。支持向量机,其含义是通过支持向量运算的分类器。其中“机”的意思是机器,可以理解为分类器。 那么什么是支持向量呢?在求解的过程中,会发现只根据部分数据就可以确定分类器,这些数据称为支持向量。 见下图,...原创 2018-08-03 22:05:25 · 2680 阅读 · 0 评论 -
机器学习之K均值算法(K-means)聚类
K均值算法(K-means)聚类【关键词】K个种子,均值一、K-means算法原理聚类的概念:一种无监督的学习,事先不知道类别,自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析(cluster analysis)的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到,在图...原创 2018-08-04 14:25:32 · 2539 阅读 · 5 评论 -
python使用SVC算法
汽车是否值得购买这是一个关于汽车测评的数据集,类别变量为汽车的测评:(unacc,ACC,good,vgood) 分别代表(不可接受,可接受,好,非常好)而6个属性变量分别为买入价,维护费,车门数,可容纳人数,后备箱大小,安全性。值得一提的是6个属性变量全部是有序类别变量,比如「可容纳人数」值可为「2,4,more」,「安全性」值可为「low, med,...原创 2020-03-09 17:45:36 · 2949 阅读 · 1 评论 -
python机器学习使用PCA降维识别手写数字
PCA降维识别手写数字PCA 用于数据降维,减少运算时间,避免过拟合。 PCA(n_components=150,whiten=True) - n_components参数设置需要保留特征的数量,如果是小数,则表示保留特征的比例;设为大于零的整数,会自动的选取n个主成分-whiten: 默认为False,若为True表示做白化处理,白化处理主要是为了使处理后的数据方差都一致...原创 2018-08-04 19:25:44 · 1798 阅读 · 2 评论 -
机器学习之决策树
决策树【关键词】树,熵,信息增益决策树的优缺点优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。既能用于分类,也能用于回归缺点:可能会产生过度匹配问题。一、决策树的原理我们经常使用决策树处理分类问题。近来的调查表明决策树也是最经常使用的数据挖掘算法。它之所以如此流行,一个很重要的原因就是使用者基本上不用了解机器学习算法,也不用深究...原创 2018-07-31 21:35:58 · 547 阅读 · 1 评论 -
机器学习之朴素贝叶斯算法
朴素贝叶斯事例1例子1,现分别有 A、B 两个容器,在容器 A 里分别有 7 个红球和 3 个白球,在容器 B 里有 1 个红球和 9 个白球,现已知从这两个容器里任意抽出了一个球,且是红球,问这个红球是来自容器 A 的概率是多少?# X事件为选中了红球p(X) = 8/20# Y事件代表选中A容器p(Y) = 1/2# A容器中红球的概率p(X|Y) ...原创 2018-08-01 21:57:01 · 1600 阅读 · 1 评论 -
python机器学习识别手写数字
手写数字识别导包import numpy as npimport matplotlib.pyplot as plt%matplotlib inline#导入knn算法,决策树,逻辑斯蒂回归from sklearn.neighbors import KNeighborsClassifierfrom sklearn.tree import DecisionTreeClass...原创 2018-08-02 20:26:59 · 1816 阅读 · 7 评论 -
机器学习之特征工程
特征工程一、简介 特征是指数据中抽取出来的对结果预测有用的信息 特征工程是使用专业背景和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。二、特征工程的意义: 1. 更好的特征意味着更强的灵活性 2. 更好的特征意味着只需要简单模型 3. 更好的特征意味着更好的结果三、工作应用 工作中可能70%的时间处理...原创 2018-08-07 21:41:44 · 570 阅读 · 1 评论 -
机器学习之算法模型评价指标
机器学习评价指标1、几个概念精确率:Precision——”正确被检索的item(TP)”占所有”实际被检索到的(TP+FP)”的比例召回率:Recall——“正确被检索的item(TP)”占所有”应该检索到的item(TP+FN)”的比例F-measure= 正确率 * 召回率 * 2 / (正确率 + 召回率) (F 值即为正确率和召回率的调和平均值)准确率:Accur...原创 2018-08-07 21:49:57 · 1566 阅读 · 2 评论 -
python机器学习TensorFlow框架
TensorFlow框架一、简介 TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理。 Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从流图的一端流动到另一端的计算过程。 TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理...原创 2018-08-07 22:02:42 · 10656 阅读 · 1 评论 -
python机器学习卷积神经网络(CNN)
卷积神经网络(CNN)一、简介 卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。 卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神...原创 2018-08-08 08:52:39 · 6256 阅读 · 3 评论 -
python机器学习的开发流程
标准机器学习的开发编程流程一、流程标准机器学习的开发编程流程:1、获取数据(爬虫、数据加载、业务部门获取)2、数据建模(摘选样本数据(特征、目标))3、数据清洗(异常值检测和过滤)4、特征工程(归一化处理:提高算法模型的精度) 归一化目的:使得每种特征数据的量级(权重)保持大致一致 归一化方法(常用):1.普通归一化处理 2. 区归一化 处理 ...原创 2018-07-28 14:50:59 · 838 阅读 · 1 评论