- 博客(24)
- 收藏
- 关注
RSS订阅转载 【吴恩达团队 Tensorflow2.0】
【吴恩达团队 Tensorflow2.0】1、吴恩达团队前推出的TF2.0系列课程coursera平台TF系列热度登顶，持续更新中。（B站视频课程链接：https://www.bilibili.com/video/BV1zE411T7nb 等）2、吴恩达团队 Tensorflow2.0笔记第一课https://blog.youkuaiyun.com/doreenqiuyue/category_10135255.html第二课https://blog.youkuaiyun.com/doreenqiuyue/cat
2020-11-20 16:26:48
530
原创 spark-on-yarn
Spark On Yarn搭建及各运行模式说明https://www.cnblogs.com/rmxd/p/12273395.html◦1、单机模式◦2、伪集群模式◦3、集群模式1---spark自带的Cluster Manager的Standalone client模式◦4、集群模式2---spark自带的Cluster Manager的standalone cluster模式◦5、集群模式3---基于Yarn的ResourceManager的Client模式◦6、集群模式4----基于.
2020-08-26 17:07:24
125
原创 卷积神经网络
【核心】1、设计理念1)、特征提取简化计算维度2)、大大简化了模型参数2、概念：卷积层、池化层、全连接层1)、卷积层：过滤层、步幅2)、池化层：一般使用最大池化3)、全连接层：激活函数3、经典网络1)、LeNet-52)、AlexNet3)、VGG-164、残差网络1)、LeNet-52)、AlexNet3)、VGG-16...
2019-02-25 14:52:48
179
原创 dl-rnn
【激活函数】1、sigmoid函数 σ(x) = y = 1/(1 + e**(-x)) σ'(x) = y * (1 -y) 2、tanh函数 tanh(x) = y = (e**x - e**(-x))/(e**x + e**(-x)) tanh'(x) = 1 - y**2【RNN推导】RNN求解过程推导与实现https://www.cnblogs.c...
2018-12-29 18:46:53
189
原创 5、支持向量机
https://blog.youkuaiyun.com/Cowry5/article/details/80465922【SVM模型训练】% 1、训练数据绘图function plotData(X, y) pos = find(y == 1); neg = find(y == 0); plot(X(pos, 1), X(pos, 2), 'k+','LineWidth', 1, 'MarkerSi...
2018-11-30 21:11:06
194
原创 4、算法诊断
【参考资料】Andrew Ng coursera上的《机器学习》ex5https://blog.youkuaiyun.com/LilyNothing/article/details/52291686【模型选择】% 一、计算指标% 1、损失函数function [J, grad] = costFunction(theta, X, y, lambda) m = size(X, 1); ...
2018-11-30 21:10:19
190
原创 5、支持向量机
【参考资料】coursera机器学习课程第六周——课程笔记https://blog.youkuaiyun.com/u012052268/article/details/78816779#3实践svmhttp://www.ai-start.com/ml2014/html/week7.html【逻辑回归简化】1、预测函数:g(x) = 1/(1+e**-h(x)),其中z为h(x)=θ(0)+θ(1...
2018-11-30 21:09:22
263
原创 4、算法诊断
【参考资料】coursera机器学习课程第六周——课程笔记https://blog.youkuaiyun.com/ccblogger/article/details/78645976http://www.ai-start.Jom/ml2014/html/week6.html【模型选择】1、多项式的次数d1)、数据集分成training、cross validation、test分别用于拟合函数、模...
2018-11-30 21:08:07
273
原创 3、神经网络
【参考资料】1、深度学习笔记三：反向传播（backpropagation）算法https://blog.youkuaiyun.com/xierhacker/article/details/53431207吴恩达机器学习 - 神经网络的反向传播算法https://blog.youkuaiyun.com/wyg1997/article/details/80766153【神经网络实现】% 一、基础数据% 0、训...
2018-11-19 15:32:52
179
原创 3、神经网络
【参考资料】http://www.ai-start.Jom/ml2014/html/week4.htmlhttp://www.ai-start.Jom/ml2014/html/week5.html【神经网络】1、特征量N的增多导致二次项数的剧增N**2/2,图像识别中尤为显著2、术语:输入层/输入神经元输出层/输出神经元隐层/隐层神经元权值、偏置、激活函数3、实现核心依赖链式关...
2018-11-19 15:27:29
166
原创 2、逻辑回归
【逻辑回归函数模型】1、训练数据绘图cd D:\study\AI\data\ex2data = load('ex2data1.txt');X = data(:, [1, 2]); y = data(:, 3);pos = find(y==1); % y取1的所有行plot(X(pos, 1), X(pos, 2), 'k+','LineWidth', 2, 'MarkerSize...
2018-11-05 22:10:26
254
原创 2、逻辑回归（正则项约束数学本质）
https://www.jianshu.com/p/209d73fcb17b【逻辑回归函数模型】1、线性回归连续性不适合离散目标拟合2、sigmod(S型函数1/(1+e**-z)输出值始终落在[0,1]的特征【逻辑回归损失函数】1、预测函数:g(x) = 1/(1+e**-h(x)),其中z为h(x)=θ(0)+θ(1)*x2、损失函数: J(θ) = (1/m)*∑(−y *...
2018-11-02 19:07:47
659
原创 1、线性回归
【安装】https://ftp.gnu.org/gnu/octave/windows/【一元线性回归】1、训练数据绘图cd D:\study\AI\data\ex1data = load('ex1data1.txt'); % read comma separated datax = data(:, 1); % feature y = data(:, 2); % targetm =...
2018-10-26 19:19:12
119
原创 0、Octave基本使用
【安装】https://ftp.gnu.org/gnu/octave/windows/【基本操作】octave基本操作https://www.cnblogs.com/zhxuxu/p/9473385.html1、基本计算1)、加、减、乘、除2 + 23 - 25 * 81 / 22)、平方、立方2^22^32、逻辑运算等于（==）、不等于（~=）、并（&&...
2018-10-26 19:17:39
239
原创 1、线性回归理论总结
【梯度下降】1、本质:求解f'(x)=02、算法:起点X0按照步长α向f'(x)为0逼近(x(n+1) = x(n) - α*f'(x(n)))3、结果:迭代操作,f'(x)满足期望精度4、前提:梯度必须为递增(凸函数)【线性回归梯度下降】1、代数推导(1)、预测函数:h(x)=θ(0)+θ(1)*x(2)、损失函数:J(θ)=(1/2m)*∑(h(x(i))-y(i))**2...
2018-10-26 19:16:41
215
原创 spark本地开发环境搭建
1、开发工具idea下载https://www.jetbrains.com/idea/download/#section=windows2、scala插件下载http://plugins.jetbrains.com/files/1347/43504/scala-intellij-bin-2018.1.3.zip?updateId=43504&pluginId=13473、spark-2.2...
2018-04-28 11:42:09
250
原创 xgboost销量预测环境搭建
一、开发测试1、开发环境搭建(1)、安装Anaconda3(Python3.6以及基础库环境)(2)、安装PyCharm(IDE);(3)、xgboost扩展包: https://download.lfd.uci.edu/pythonlibs/rqr3k8is/xgboost-0.7-cp36-cp36m-win_amd64.whl (https://www.lfd
2018-04-24 15:55:07
1205
原创 XGBoost实现门店销售额预测小白入门demo
一、xgboost扩展包安装1、官网下载xgboost扩展包: Python Extension Packages for Windows下载对应版本，win64，python3.6 https://download.lfd.uci.edu/pythonlibs/rqr3k8is/xgboost-0.7-cp36-cp36m-win_amd64.whl (https:/
2018-02-02 20:56:38
4519
1
原创 beeline结果输出格式设置（outputformat=csv）
进行beeline结果输出并解析时遇到一个字符串格式问题，正确操作如下：beeline -u $url --silent=true --showHeader=false --outputformat=csv --color=true -e "$hql" 格式参数:--outputformat=[table/vertical/csv/tsv/dsv/csv2/tsv2]1、输出格式一定
2018-01-31 10:23:08
13892
转载 SparkContext初始化
一、SparkConf概述1. SparkContext需要传入SparkConf来进行初始化，用于维护Spark的配置属性；2. SparkConf内部使用ConcurrentHashMap来维护所有的配置；3. SparkConf提供的setter方法返回的是this，所有它允许使用链式来设置属性。二、SparkContext的初始化1. 复制SparkConf配置
2017-07-19 21:35:34
1043
转载 Spark工作流程简述
1、构建Spark Application的运行环境（启动SparkContext），SparkContext向 资源管理器（Standalone、Mesos或YARN）注册并申请Executor运行资源；2、资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor 运行情况将随着心跳发送到资源管理器上；3、SparkCo
2017-07-19 20:51:23
2021
原创 spark 与hadoop 之比较
spark 与hadoop 之比较一、存储结构 1、hadoop ：hadoop文件系统下的split（split是逻辑数据单元，block存储物理单元，split可能会跨block存储）;2、spark：使用基于内存的弹性分布式数据集RDD，进行数据基本运算和缓存（RDD是对象，肯定存储在内存中）； 二、编码模式 1、hadoop ：Map + Reduce（
2017-07-10 14:26:32
2864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人