atporter-优快云博客

原创【踩坑】单GPU微调BERT(SQuAD 1.1)

官方代码地址 https://github.com/google-research/bert 用SQuAD 1.1数据集fine fune时，遇到不少坑，在此分享一下一、环境 1.报错：AttributeError: module ‘tensorflow._api.v2.train’ has no attribute ‘Optimizer’ 问题为tensorflow版本不正确，必须使用1.x版本，我使用的是tensorflow1.15.0 注意：python3.8不支持tensorflow1.15.0，

2021-03-06 12:00:55 1182 1

原创 liuyubobobo《机器学习》学习笔记（十一）

多项式回归与模型泛化（1） 1.多项式回归当数据之间不具有线性关系时，采用非线性回归进行拟合处理思想：将 x2x^2x2 当作一个新的特征，再应用线性回归 from sklearn.linear_model import LinearRegression X2 = np.hstack([X, X**2]) # 添加一个新的特征 lin_reg = LinearRegression() lin_reg.fit(X2, y) y_predict = lin_reg.predict(X2) 2.s

2021-02-09 20:09:12 337

原创 liuyubobobo《机器学习》学习笔记（十）

PCA 1.主成分分析Principal Component Analysis 是一个非监督的机器学习算法，主要用于数据的降维通过降维，可以发现更便于人类理解的特征其他应用：可视化，去噪 2.主成分分析的推导过程考虑这样一个过程：将二维数据降维到一维最好的方案为：找到一个轴，使得样本空间的所有点映射到这个轴后，间距最大样本间间距——方差首先，将样例的均值归为0（demean），方差公式变为：Var(x)=1m∑i=1m(xi−x‾)2=1m∑i=1mxi2Var(x) = \frac{1}{

2021-02-02 20:28:16 432

原创 liuyubobobo《机器学习》学习笔记（九）

梯度下降法 1.什么是梯度下降法是一种基于搜索的最优化方法，作用是最小化一个损失函数并不是一个机器学习算法！ η\etaη 称为学习率（learning rate），是梯度下降法的一个超参数，其取值会影响获得最优解的速度。如果取值不合适，甚至得不到最优解并不是所有函数都有唯一的极值点解决方案：多次运行，随机化初始点（初始点也是超参数） 2.梯度下降的代码实现 def gradient_descent(initial_theta, eta, n_iters = 1e4, epsi

2021-01-20 23:35:00 286

原创 liuyubobobo《机器学习》学习笔记（八）

线性回归法 1.简单线性回归样本特征只有一个，称为简单线性回归假设我们找到了最佳拟合的直线方程 y=ax+by = ax + by=ax+b 则对于每一个样本点x(i)x^{(i)}x(i)，真值为y(i)y^{(i)}y(i)，其预测值为y^(i)=ax(i)+b\widehat{y}^{(i)} = ax^{(i)} + by(i)=ax(i)+b 我们用(y(i)−y^(i))2(y^{(i)}- \widehat{y}^{(i)})^2(y(i)−y(i))2表示差距（不用绝对值是因

2020-09-09 16:26:03 459 2

原创 liuyubobobo《机器学习》学习笔记（七）

K近邻算法 —— KNN 1.示意图判断绿点的种类，选取与它距离最近的三个点，其中红色占两个，蓝色占一个，所以预测它为红色种类 2.KNN代码实现 X_train：数据 y_train：标签 x：待预测数据 import numpy as np from math import sqrt distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train] 欧拉公式（计算距离）二维：(xa−xb)2+(ya−yb)2\sqrt

2020-09-04 00:24:02 640

原创 liuyubobobo《机器学习》学习笔记（六）

numpy和matplotlib (3) 1.matplotlib import matplotlib as mpl import matplotlib.pyplot as plt # 常用最基础的用法 import numpy as np x = np.linspace(0, 10, 100) y = np.sin(x) plt.plot(x, y) plt.show() # Jupyter Notebook上不用show()也可以显示出来支持两条曲线，并设置参数 x =

2020-08-29 12:10:31 415

原创 liuyubobobo《机器学习》学习笔记（五）

numpy和matplotlib (2) 1.矩阵运算运算符：+、-、*、/、//、**、%…… abs() sin() cos() tan() exp() log() power() log2() log10() dot() 矩阵乘法 A * B 只是矩阵各位置相乘，A.dot(B) 才是矩阵乘法 A.T 转置 inv() 逆矩阵 A # array([[0, 1], # [2, 3]]) np.linalg.inv(A) # array([[

2020-08-29 11:56:32 319

原创 liuyubobobo《机器学习》学习笔记（四）

numpy和matplotlib (1) 1.如何创建一个numpy.array? import numpy as np nparr = np.array([i for i in range(10)]) # array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) nparr.dtype # dtype('int32') 其他的创建方式 zeros() np.zeros(10, dtype=int) # array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0]) n

2020-08-05 10:11:49 333

atporter的博客