
机器学习原理解析与应用
机器学习与智能计算,tensorflow框架,mxnet框架,AI手记
麦好
硕士/量化投资协会成员
展开
-
英文过滤停用词
""" Created on Sun Nov 13 09:14:13 2016 @author: daxiong """ from nltk.corpus import stopwords from nltk.tokenize import sent_tokenize,word_tokenize #英文停止词,...转载 2018-10-23 12:35:12 · 5309 阅读 · 1 评论 -
sklearn之svm-葡萄酒质量预测(12)
#!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Sun Oct 14 20:48:28 2018@author: myhaspl@email:myhaspl@myhaspl.comsvm"""import pandas as pdimport numpy as npfrom sklearn import ..原创 2018-10-14 22:15:44 · 2070 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(11)
本系列以sklearn的svm算法为例,对葡萄酒质量预测,也可换用其它方法,比如随机森林,因为sklearn的机器学习算法调用形式基本差不多,可以自行举一反三。现在,我们来把训练的模型保存,然后,需要的时候,直接将数据送入模型 ,无需再训练,先来看模型 保存与读入(模型持久化)模型的持久性在训练了一个scikit-learn模型之后,最好有一种方法来保存模型以供将来使用,而无需重新培训。下一...原创 2018-10-14 21:56:45 · 3037 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(10)
下面我们接着以葡萄酒质量预测为例 ,设置svm参数,提高分类准确率。原创 2018-10-14 19:44:52 · 4901 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(9)
SVC数学原理给定训练向量i=1,…,n,在两个类中,和一个向量,SVC解决了以下原始问题:可变换为决策函数为:上式中的为核。原创 2018-10-14 18:16:44 · 1406 阅读 · 0 评论 -
sklearn之svm-葡萄酒质量预测(8)
class sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto_deprecated’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, de...原创 2018-10-14 17:54:34 · 7544 阅读 · 0 评论 -
AI随笔-scala(1)
object learn { def main(args: Array[String]): Unit = { println(myPower(2,4)) } @annotation.tailrec def myPower(x:Int,n:Int,t:Int=1):Int={ if (n<1) t else myPower(x,n-1,x*...原创 2018-10-10 11:50:06 · 630 阅读 · 0 评论 -
决策树与随机森林
决策树(Decision Tree)与随机森林(Random Forest)决策树是用树的结构来构建分类模型,每个节点代表着一个属性,根据这个属性的划分,进入这个节点的儿子节点,直至叶子节点,每个叶子节点都表征着一定的类别,从而达到分类的目的。常用的决策树有ID4,C4.5,CART等。在生成树的过程中,需要选择用那个特征进行剖分,一般来说,选取的原则是,分开后能尽可能地提升纯度,可以用信息增...转载 2018-10-07 15:49:05 · 4361 阅读 · 0 评论 -
阿里云随笔(10)-PAI-AutoML
在数据管理中,重新上传完整的白葡萄酒数据。然后可以进入数据开发,写sql代码对数据表进行查询。比如统计训练样本和测试数据的大小。原创 2018-10-07 15:01:28 · 2473 阅读 · 0 评论 -
阿里云随笔(8)
下面一步是把训练结果写入oss的文件中,以便查看首先,写入阿里云oss的操作 #!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Sat Sep 15 10:54:53 2018@author: myhaspl@email:myhaspl@myhaspl.com阿里云写文件入ossoss://myhaspl-ai....原创 2018-10-06 23:10:46 · 362 阅读 · 0 评论 -
阿里云随笔(6)
列出oss桶下所有的csv文件:import tensorflow as tfFLAGS = tf.flags.FLAGStf.flags.DEFINE_string('buckets', 'oss://myhaspl-ai.oss-cn-beijing-internal.aliyuncs.com/', '') tf.flags.DEFINE_string('batch_size', '...原创 2018-10-06 20:58:15 · 428 阅读 · 0 评论 -
阿里云随笔(4)
查看模型原创 2018-10-06 16:42:33 · 407 阅读 · 0 评论 -
阿里云随笔(3)
试着在PAI面板中加入2个节点,然后随机森林选择字段,可行删除节点及连线后,继续加入数据。可直接创建表最后可查到这2个表原创 2018-10-06 16:22:31 · 340 阅读 · 0 评论 -
阿里云AI随笔(2)
创建表,准备导入本地数据原创 2018-10-06 13:58:54 · 386 阅读 · 0 评论 -
阿里云AI随笔(1)
1.先配置好OSS,并上传样本数据2.进入机器学习PAI,选择样本数据为OSS中样本数据,进行多分类原创 2018-10-05 22:32:36 · 457 阅读 · 0 评论 -
AI强化学习随笔(2)
gym库是一个测试问题的集合——环境——你可以用它来计算你的强化学习算法。这些环境有一个共享的接口,允许您编写通用算法。安装首先,您需要安装Python 3.5+。pip install gym从源代码构建如果您愿意,还可以直接克隆gym Git存储库。当你在修改体育馆或者添加环境的时候,这是非常有用的。下载和安装使用:git clone https://github.com/open...原创 2018-10-05 11:34:15 · 374 阅读 · 0 评论 -
AI理论随笔-基,坐标,子空间
1.设VVV是数域KKK的线性空间,x1,x2...,xrx_1,x_2...,x_rx1,x2...,xr是属于VVV的任意rrr个向量,如果它满足(1)x1,x2....,xnx_1,x_2....,x_nx1,x2....,xn线性无关(2)VVV中任一个向量xxx都是x1,x2,...,xnx_1,x_2,...,x_nx1,x2,...,xn的线性组合。则称x1,...原创 2018-10-04 16:23:38 · 492 阅读 · 0 评论 -
华为云AI随笔(8)
原创 2018-10-04 09:09:09 · 2995 阅读 · 0 评论 -
华为云AI随笔(7)
查看数据情况原创 2018-10-03 23:03:55 · 2752 阅读 · 0 评论 -
华为云AI随笔(6)
创建交互式笔记本原创 2018-10-03 12:16:26 · 724 阅读 · 0 评论 -
华为云AI随笔(5)
接(10)继续创建后的项目如下:原创 2018-10-03 10:34:53 · 1763 阅读 · 0 评论 -
华为云AI随笔(4)
在http://archive.ics.uci.edu/ml/datasets/wine+quality找到葡萄酒质量数据集(Wine Quality Dataset ),它涉及根据每种葡萄酒的化学度量值来预测白葡萄酒的质量。11个输入变量和一个输出变量。变量名如下:非挥发性酸度挥发性酸度柠檬酸残留糖氯化物游离二氧化硫总二氧化硫浓度pH值硫酸盐酒精度质量(得分在 0 和 ...原创 2018-10-03 09:39:38 · 830 阅读 · 0 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(3)
如果非零向量组a1,a2,...,ama_1,a_2,...,a_ma1,a2,...,am两两正交,即:ai⋅aj=aiTaj=0(i≠j;i,j=1,2,...,m)a_i \cdot a_j=a_i^Ta_j=0(i \neq j;i,j=1,2,...,m)ai⋅aj=aiTaj=0(i̸=j;i,j=1,2,...,m)则称该向量组为正交向量组。若每个向量为单位向量,...原创 2018-10-01 11:28:06 · 756 阅读 · 0 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(2)
如果:AAT=EAA^T=EAAT=E(E为单位矩阵,ATA^TAT表示“矩阵A的转置矩阵”。)或ATA=EA^TA=EATA=E,则n阶实矩阵A称为正交矩阵,若A为正交阵,则满足以下条件:(1) ATA^TAT是正交矩阵(2) E为单位矩阵(3) A的各行是单位向量且两两正交(4) A的各列是单位向量且两两正交(5) $ (Ax,Ay)=(x,y)x,y∈R$(6) ∣A∣=1|A|...原创 2018-10-01 10:14:17 · 4081 阅读 · 1 评论 -
AI理论随笔-对称矩阵、正交矩阵与特征向量,特征值(1)
一、对称矩阵(Symmetric Matrices)是指元素以主对角线为对称轴对应相等的矩阵。 对称矩阵是一个方形矩阵,其转置矩阵和自身相等。如果有n阶矩阵A,其矩阵的元素都为实数,且矩阵A的转置等于其本身(aij=aji)(i,j为元素的脚标),则称A为实对称矩阵。比如:A=[1272317111]A=\begin{bmatrix} 1 & 2&7\\ 2&...原创 2018-10-01 09:25:16 · 8812 阅读 · 0 评论 -
AI理论随笔-最优化(5)
单纯形法(2)[11200−64144014013454014107494000000]\begin{bmatrix} 1&\frac{1}{2}&0&0&-\frac{6}{4}&\frac{14}{4}\\ 0& \frac{1}{4}&0&1&\...原创 2018-09-30 22:19:17 · 365 阅读 · 0 评论 -
AI理论随笔-最优化(4)
单纯形法(1):以下列方程为例:max z=12x4+5x5s.t.{x1+x2+x3+x4+x5=42x1+3x2+x3+7x4+4x5=12x2+x3+3x4+4x5=65x1+4x2+x3+5x4−2x5=17xj≥0(j=1,2,...,5)max\ z=12x_4+5x_5\\s.t.\left\{ \begin{array}{l}x_1+x_2+x_3+x_4+x...原创 2018-09-30 20:51:59 · 324 阅读 · 0 评论 -
AI理论随笔-最优化(3)
非齐次方程组AX=bAX=bAX=b求解。可设前r列线性无关。(A:b)行变换→[c11c12......d1c22......d2...d2crr...drdr+1......](A:b)\underrightarrow{行变换}\begin{bmatrix} c_{11 }& c_{12}&...&原创 2018-09-29 13:18:46 · 335 阅读 · 0 评论 -
AI理论随笔-最优化(2)
齐次线性方程组的解集的极大线性无关组称为该齐次线性方程组的基础解系。基础解系是线性无关的,简单的理解就是能够用它的线性组合表示出该方程组的任意一组解。基础解系不是唯一的,因为基础解系是AX=0的所有解的极大无关组。也是AX=0解空间的基基也不是唯一的。基础解系针对齐次线性方程组AX=0AX = 0AX=0而言的.当 r(A)≤nr(A)\leq nr(A)≤n (n是A的列数)时, 方程组存...原创 2018-09-28 21:54:25 · 404 阅读 · 0 评论 -
AI理论随笔-最优化(1)
线性规则(优化)是一类最优化问题。其中,目标函数是未知数的线性函数。约束条件是线性等式和线性不等式构成。标准形式为:KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲a &=b+c+d \\x…...原创 2018-09-28 14:45:39 · 495 阅读 · 0 评论 -
华为云AI随笔(3)
MLS 实例创建限制l 只支持“中国华北区”。l MLS依赖于MRS提供计算和存储资源,在创建MLS实例之前必须已有MRS集群, 如没有,请申请一个MRS集群。参见创建虚拟私有云和MRS集群。仅限于专属 版。l 用户创建的MLS实例必须和MRS集群在同一个可用分区、VPC、子网内。仅限于 专属版。l MLS实例创建好以后不支持修改规格,如果需要使用更高规格的节点,请重新创 建一个MLS实例...原创 2018-09-27 15:33:13 · 3784 阅读 · 0 评论 -
AI随笔-python3(5)
原创 2018-09-26 20:23:02 · 455 阅读 · 0 评论 -
华为云AI随笔(2)
购买华为MLS服务(机器学习服务)在此,使用按需计费然后,进入管理原创 2018-09-26 12:22:13 · 1999 阅读 · 0 评论 -
AI随笔-python3(4)
用vim或vi编写tensorflow代码yum install gitkeras测试训练20次,所以准确率较低安装gnomerebootwget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.shbash Anaconda3-5.2.0...原创 2018-09-24 16:58:28 · 632 阅读 · 0 评论 -
AI随笔-python3(2)
yum -y install epel-releaseyum upgradeyum -y install python-pippip install --upgrade pippip3 install numpy检查pip3安装成果pip3 install tensorflow原创 2018-09-24 13:56:08 · 502 阅读 · 0 评论 -
AI随笔-python3(1)
python版本太低,为2.7.5安装python3.6(1)安装依赖包 安装vim#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xzmkdir /usr/local/python3yum install bzip2tar -xvJf Python-3.6.4.tar...原创 2018-09-23 20:35:44 · 535 阅读 · 0 评论 -
华为云AI随笔(1)
原创 2018-09-23 19:22:35 · 706 阅读 · 0 评论 -
paddlepaddle初步印象
从其官网整理了一些资料如下:1、基本概念基本使用概念PaddlePaddle是源于百度的一个深度学习平台。PaddlePaddle为深度学习研究人员提供了丰富的API,可以轻松地完成神经网络配置,模型训练等任务。 这里将介绍PaddlePaddle的基本使用概念,并且展示了如何利用PaddlePaddle来解决一个经典的线性回归问题。 在使用该文档之前,请参考 安装文档 完成PaddlePaddl原创 2017-07-20 08:48:55 · 10751 阅读 · 1 评论 -
程序员们,AI来了,机会来了,危机也来了
程序员们,AI来了,机会来了,危机也来了1.人工智能真的来了 纵观古今,很少有计算机技术能有较长的发展寿命,大部分昙花一现,比如:昔日的DOS、windows3.2、foxpro、delphi、80x86汇编,还有很多技术也在艰难地挣扎,比如:VB、PB、Sqlserver,甚至连微软的.NET也被来自全球强大的开源力量逼到了死角, 以至于不得不开放源码,向LINUX投...原创 2017-07-10 17:37:05 · 14814 阅读 · 29 评论 -
数学之路(机器学习实践指南)-深度学习(1)-caffe
centos安装\[root@iZ23mdqdp94Z myhaspl]# yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-devel atlas-devel原创 2016-10-25 10:55:32 · 724 阅读 · 0 评论