- 博客(150)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 centos7 vmware 搭建集群
1. 防火墙关闭service network restartfirewall-cmd --statesystemctl stop firewalld2. 创建用户useradd lhpasswd 1113. 创建文件夹mkdir /opt/software /opt/modulechown lh:lh /opt/software /opt/module4. 把该用户添加到sudoers // 免密执行sudo命令vim /etc/sudoerslh ALL=(ALL)
2020-11-10 15:06:32
526
原创 spark摘要
mac下kafka/usr/local/bin/zookeeper-server-start -daemon /usr/local/etc/kafka/zookeeper.properties // 1.启动zookeeper （我这里的应该是kafka自带的） root账号下/usr/local/bin/kafka-server-start /usr/local/etc/kafka/ser...
2020-04-10 19:32:38
461
原创 Test1
数学学科在线做题系统开发工具：django，css，html，js，jquery开发目的：验证相关算法的泛化能力验证专题：1. bkt算法专题： 先行测试(根据图谱算法推送1个知识点测1题 -> 学生做题 -> 图谱算法获取薄弱知识点) --> 先行测试报告页 --> 高效学习(按算法推取一个薄弱知识点 -> 观看知识点讲解视频 -> ...
2020-03-09 15:16:23
260
1
原创 Tensorflow2 RNN模型imdb电影评分预测和Character-level language model
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...
2020-03-08 13:39:57
1348
原创 TensorFlow2.0 CNN,深度可分离卷积，keras_generator，resnet50迁移学习，BN层(cifar)（chapter06）
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...
2020-03-03 17:13:53
1282
原创 贝叶斯定理及单词拼写纠错
贝叶斯简介：贝叶斯(约1701-1761) Thomas Bayes，英国数学家。贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，生不逢时，死后它的作品才被世人认可。贝叶斯要解决的问题：正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之...
2020-02-22 18:24:14
1299
2
原创 Tensorflow2.0 feature_columns ，交叉特征，estimator，tf1.0实战(第五节)
5-3 feature_columnsimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow i...
2020-02-20 11:05:53
1014
原创 Tensorflow2.0之dataset读取csv及tfrecord文件（第四节）
本章节的主要内容是csv文件的读入（写入直接用pandas即可），tfrecords文件的写入及读取（读入是解析成可以训练的数组形式）csv文件读入list_files = ['a.csv','b.csv','c.csv']csv_dataset = tf.data.Dataset.list_files(list_files)csv_dataset = csv_dataset.int...
2020-02-18 22:31:24
3898
原创 Tensorflow2.0 自定义损失函数,重写layer层, tf.function,图结构, tf.gradient等（第三节）
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...
2020-02-13 22:49:00
1111
原创 Tensorflow2.0使用keras搭建神经网络（第二节）
import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...
2020-01-25 18:21:07
770
原创 开发和评价一个异常检测系统
解决问题：此次练习是为了检测服务器的吞吐量(throughput)和响应延迟(latency)是否有异常。问题背景：收集307个训练样本，猜测全都是正常的(但是实际中可能有几个异常点)，所以需要用高斯分布检测异常样本。可以先用2D散点图查看分布情况(part1图)，用测试机拟合高斯分布然后配合验证集的得到的epision找到异常点，最后应用到多维度的大数据中。开发和评价一个异常检测系统1...
2020-01-14 16:24:07
500
原创 PCA降维及SVD
1.相关背景我们在实际工作中经常需要分析不同组呈现来的成千上百个指标的数据，这些指标之间经常有一些相关性指标，比如厘米和英尺，这样的指标我们只要保留一个就可以，还有一些隐藏的高度相关的特征，以通过降维方法来进行数据预处理。2. 数据降维主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维方法，属于无监督学习。所谓降维就是将数据指标从高维度减到低维...
2019-12-20 17:21:26
495
原创 无监督学习-K-means算法对图片压缩
K-means算法是无监督的聚类算法，是将一个未标记的数据集聚类成不同的组实现步骤如下1.根据数据集随机选择K个点作为聚类中心 (cluster centroids)2.对于数据集中的每一个数据，找出与各个聚类中心的距离最小值，将其归为那个类3.计算每一个聚类中心的数据的平均值，将聚类中心移动到对应平均值处4.重复2和3步骤直至中心点不再变化from PIL import Imag...
2019-11-06 15:04:19
523
原创 sklearn中精确率、召回率及F1值得micro，macro及weighted算法
为什么要用精确率和召回率有这样一个训练集，1000个人参加了结直肠癌CRC的检测，实际有0.5%的人得了CRC（即5个人）。精确率和召回率的值在类偏斜的样本中能得到很好体现。...
2019-10-30 10:36:07
12681
2
原创 机器学习常用
数据处理 测试集验证集划 from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(pdData.iloc[:,:2], pdData.iloc[:,2:], test_size=0.3, random_state=0)标准化和归...
2019-10-16 17:36:56
536
原创 神经网络反向传播梯度推导及代码实现
一. 梯度推导本例中使用的激活函数为g(x)=sigmoid函数，损失函数使用的为逻辑回归的损失函数。方便公式简便，只有一个样本进行偏导计算，假设network共L层。使用 "" 表示向量乘积运算符,python中的numpy.multiply网络大致图梯度计算用的是链式求导法则1.隐藏层-->输出层权重参数求导2.隐藏层-->隐藏层(l-1层...
2019-10-05 09:14:11
1965
原创 逻辑回归进行多分类进行手写识别（ex3)
思路X(5000,401) 5000个样本，400特征+1偏置项y(5000,1) 5000个样本对应的标签，即5000个样本对应的数字多分类的目的是随机输入一个样本，能够识别这个样本是数字几。因为逻辑回归是二分类任务，能够识别0或1，那多分类便可多次使用逻辑回归达到多分类的目的。比如本例的10个类别使用十次逻辑回归即可。for i in range(1, 11):...
2019-09-15 23:16:31
537
原创 线性回归的正则化实例及模型判定
吴恩达正则化课程的课后作业python实现from scipy.io import loadmatimport pandas as pdimport matplotlib.pyplot as pltimport numpy as np# =========== part 1 : load data =================data = loadmat('ex5d...
2019-09-08 22:41:29
571
转载 python的时间处理模块
“时间”经常会被处理，用的不会会比较复杂，以前主要用time模块，现在感觉datetime更好用，记录下常用的功能datetime模块包含datetime模块定义了以下几个类：基本上使用datetime模块就足够了。例1：时间戳与format时间相互准换1. 通过datetime转换from datetime import datetimeimport time...
2019-08-07 20:15:46
1051
转载 python写项目时的logging日志
简单的输出，用于快捷操作import loggingimport time# filemode="a" ，才能在文件末尾追加# 在循环中，logging 相对于 open(file,'w').write的优点：不需要等到循环执行完成log日志才有内容logging.basicConfig(filename="test.log", filemode="w",format="...
2019-08-06 20:09:04
409
原创 逻辑回归之参数训练、模型验证
training data的参数训练使用唐宇迪课程的数据集，代码思路import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport math,timeimport ospath = 'data' + os.sep + 'LogiReg_data.txt'pdData = pd.read_c...
2019-07-22 23:27:26
1951
原创 IRT模型进行能力值估计
IRT模型的公式如下：参数解释： D 常数，1.702 θ 测试学生的能力值（即需要求解的参数） pi(θ) 测试学生做对该题目的概率，i：第几题 bi 题目的难度，i：第几题 我们最终目的是要根据学生的...
2019-07-16 12:14:01
3952
5
原创 做题系统界面
1.开始做题2. 点击KityFormula输入公式，弹出输入框，如数公式3. 点击步骤二的确定按钮输入公式，点击提交答案进入下一题4. 全部课次作答完成，进入报告页系统5. 点击课次查看知识点掌握情况6. 点击作答详情，查看题目作答情况...
2019-07-16 12:10:03
705
原创 快学scala第二版笔记
第五章 类getter和setterobject HelloWorld { def main(args: Array[String]) { val p = new Person p.age = 10 p.age = 5 print(p.age) // 10 }}class Person{ private var privateA...
2019-04-09 14:29:31
730
原创 Scala 慕课网笔记
for循环 val l = List("Tom", "Bob123", "WangMeng") //> l : List[String] = List(Tom, Bob123, WangMeng) for { s <- l } println(s) //> Tom ...
2019-04-08 11:50:54
195
原创 Java SE 02
day09(面向对象_多态&抽象类&接口)09.01_面向对象(多态的概述及其代码体现)class Demo1_Polymorphic { public static void main(String[] args) { Cat c = new Cat(); c.eat(); Animal a = new Cat(); //父类引用指向子类对象 ...
2019-03-31 19:49:26
156
原创 Java基础
循环注意点：三种循环语句的区别:* do...while循环至少执行一次循环体。* 而for,while循环必须先判断条件是否成立，然后决定是否执行循环体语句。for循环和while循环的区别：* A:如果你想在循环结束后，继续使用控制条件的那个变量，用while循环，否则用for循环。不知道用谁就用for循环。因为变量及早的从内存中消失，可以提高...
2019-03-05 19:50:23
164
原创 drf 第6章
6-2 商品类别数据接口goods/views.pyclass CategoryViewSet(mixins.ListModelMixin, mixins.RetrieveModelMixin, viewsets.GenericViewSet): """ RetrieveModelMixin 参数可以使得前端输入http://127.0.0.1:8000/category...
2019-02-28 19:11:08
286
原创 1 前5章
序列化在goods/views.py文件中from .serializers import GoodsSerializerfrom rest_framework.views import APIViewfrom rest_framework.response import Responsefrom .models import Goodsclass GoodsListView(...
2019-02-15 18:10:05
239
1
原创 决策树简述-西瓜书笔记
泛化能力：机器学习对于没有见过的样本的识别能力欠拟合：模型复杂度偏低，在训练和验证时的效果都不好过拟合：模型复杂度偏高，模型在训练时效果很好，但是预测时效果很差，也就是对数据学习过度数据集决策树 是一种用于分类的机器学习算法，使得在划分过程中，决策树的分支节点多包含的样品尽可能属于一个类别，也就是结点的“纯度”变高。为了表示“纯度”，一般用“信息熵”，公式如下（样本集合D...
2018-11-30 19:01:23
473
1
转载 方向导数，梯度，梯度为何是函数值增长最快的方向
转自https://blog.youkuaiyun.com/myarrow/article/details/513324211. 基本概念方向导数：是一个数；反映的是f(x,y)在P0点沿方向v的变化率。偏导数：是多个数（每元有一个）；是指多元函数沿坐标轴方向的方向导数，因此二元函数就有两个偏导数。偏导函数：是一个函数；是一个关于点的偏导数的函数。梯度：是...
2018-11-14 15:09:57
14076
原创 数学基础
向量积（矢积）与数量积（标积）的区别名称 标积 / 内积 / 数量积 / 点积 矢积 / 外积 / 向量积 / 叉积 运算式（a，b和c粗体字，表示向量） a·b=|a||b|·cosθ a×b=c,其中|c|=|a||b|·sinθ,c的方向遵守右手定则 几何意义 向量a在向量b方向上的投影与向量b的模的乘积 c是垂直a、b所在平面，且以|b|...
2018-11-14 14:13:04
410
原创 Python计算ROC
from sklearn.metrics import roc_curve, auc, mean_squared_error, accuracy_scoredef check_fit(truth, prob): """ truth: 真实的值 [1,0,1,1,1] prob: 预测的值 [0.9,0.7,0.8,0.2,0.3] """ fpr, tp...
2018-11-12 10:31:22
3671
转载 转：Django使用Djangoueditor富文本编辑器
转自：https://blog.youkuaiyun.com/Mr_Sunqq/article/details/80041435Django使用Djangoueditor富文本编辑器——————————————————————————————————————第一步：- 下载Djangoueditor压缩包，将包解压放到项目目录文件夹下- 下载地址：https://github.com/...
2018-10-08 12:17:25
1870
原创 Pandas，numpy等记录
pandasapplydef fun(x): return x['name'][3] #使用的时候要注意series的索引，x['name'][3] ！= x['name'].iloc[3] ,x['name'][3]是取索引为3的值而不是第四行数字df.apply(fun,axis=1) # 这样是按照行来排。但是df.groupby(['name...
2018-09-11 15:37:18
259
转载 （转载）机器学习中的目标函数、损失函数、代价函数有什么区别
文章来源：https://www.zhihu.com/question/52398145作者：zzanswer链接：https://www.zhihu.com/question/52398145/answer/209358209来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 举个例子解释一下:（图片来自Andrew Ng Machine Learni...
2018-08-27 09:53:48
205
原创 难安装库集合
windows下可以下载dlib，然后pip 安装 https://pypi.org/simple/dlib/centos下参考：https://blog.youkuaiyun.com/whjay520/article/details/80841253
2018-08-22 19:16:58
249
原创 1. Vue+restframe安装及通过python插入数据
Vue安装nodejs官网下载最新的版本，旧的可能不能用，用的v10.15.0没问题Cnpm 安装教程 http://npm.taobao.org/ npm是包管理器，但是npm下载包速度慢，cnpm快，所以更多使用cnpm进入vue项目的目录执行ncpm install会生成node_modules的目录然后执行cnpm run dev，这是进入url就可以看vu...
2018-08-22 18:03:51
417
空空如也
如何设置leecode网站的光标闪烁频率为不闪烁？
2022-05-03
python的方法存贮在类中还是对象中？
2018-02-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人