从0开始学习机器学习--Day3--矩阵的基本运算及多元梯度下降

已于 2024-10-29 21:29:56 修改
阅读量1.1k 收藏 26
点赞数 25
CC 4.0 BY-SA版权
文章标签： 学习 机器学习 人工智能
于 2024-10-23 22:12:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Chef_Chen/article/details/143194694

矩阵和向量（Matries and vectors）

矩阵：由数字组成的矩形阵列并写在方括号内，例如\begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}，而矩阵的维数等于行数乘以列数，所以像我们提到的这个矩阵就可以成为一个3×3的矩阵，也能写作R^{3\times3}。

如果想要表达矩阵的某一项，我们会用A_{ij}的形式，例如 A = \begin{bmatrix} 3 & 7 & 15 \\ 4 & 9 & 6 \end{bmatrix}，则A_{13} = 15表示矩阵A第一行第三列对应的那一项，注意所写的数字不能超过矩阵本身的行数和列数。

向量：是只有一列的矩阵，例如\begin{bmatrix} 5 \\ 4 \\ 6 \end{bmatrix}，类似的，我们用 y_{i}的形式来表示向量的某一项。一个全是未知项的向量可以写成y = \begin{bmatrix} y_{1} \\ y_{2} \\ y_{3} \\ y_{4} \end{bmatrix},有时第一项也会从y_{0}开始。

矩阵的加法和标量乘法（Matries' addition and scalar multiplication）

矩阵的加减法比较简单，就是直接将两个矩阵对应的每一项加在一起，例如

最低0.47元/天 解锁文章
Chef_Chen
关注
机器学习基础知识——矩阵运算
程序媛的自学笔记
05-07 430
基本功太太太不扎实了，记录一下看论文里边提到的各种矩阵的乘法相关的操作。 1. Hadamard product（哈达玛乘积） 1.1 定义 若A=(aij)A=(a_{ij})A=(aij​)和B=(bij)B=(b_{ij})B=(bij​)是两个同阶矩阵，若cij=aij×bijc_{ij}=a_{ij}×b_{ij}cij​=aij​×bij​,则称矩阵C=(cij)C=(c_{ij})C...
机器学习day7-线性回归3、逻辑回归、聚类、SVC
keep_keeprogress的博客
11-19 1188
J(w) = \frac{1}{2m} \sum_{i=1}^{m} (h_w(x^{(i)}) - y^{(i)})^2+\lambda\sum_{j=1}^{n} w_j^2,w_j指所有的权重系数, λ指惩罚型系数，又叫正则项力度。n 是样本数量， p 是特征的数量， y_i 是第 i个样本的目标值， x_i 是第 i个样本的特征向量， w是模型的参数向量。模型在训练数据上表现得非常好，在新的数据上表现较差，常发生在模型过于复杂，学习了数据的真实模式、噪声和异常值。小于阈值认为是负例，输出0。
机器学习之矩阵运算
欢迎来到hellyou的博客
09-28 2274
矩阵求导 我们在机器学习的过程中，经常会用到矩阵，所以也就躲不开矩阵的一些运算。这里我就先给出矩阵的求导运算结果，可以直接记住。 本文内容大多来自百度文库——矩阵的最小二乘 这些公式都是对w求导，图片取自机器学习笔记（二）——多变量最小二乘法，侵权即删。 标量对列向量的求导 行向量对列向量的求导 列向量对行向量求导的时候只需要转化一步就可以，即： 然后我们有结论： 我们可以记住的结论 ...
吴恩达机器学习笔记(三)——矩阵运算
TEDIST的博客
08-21 2837
矩阵运算 1 主要内容 在目前所学习到的算法里，当具体实现的时候很多情况下都会用到数学公式转矩阵运算的应用，在这里我以一个2X3维的特征矩阵和一个对应的目标值矩阵，以及一个参数向量来推导一遍，加深对于这方面的理解。 2 代价函数矩阵运算转换 首先我们将假设函...
机器学习算法中的矩阵求导 （Matrix Derivatives）
全性保真，不以物累形。
04-16 1464
本文介绍了42个常用矩阵求导公式以及伪逆证明。
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（6）：矩阵的运算
海到无边天作岸 山登绝顶我为峰
09-16 2407
文章目录前言2.1 矩阵定义矩阵类型2.2 矩阵的运算2.2.1 矩阵的加法定义运算规律补充2.2.2 数与矩阵相乘定义运算规律2.2.3 矩阵与矩阵相乘定义运算规律2.2.4 矩阵的转置定义举例运算规律补充2.2.5 方阵的行列式内容运算规律伴随矩阵2.2.6 共轭矩阵结语 前言 Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一
机器学习day10-神经网络
凯的博客
08-05 567
普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们需要神经网络。
深度学习day3-自动微分
keep_keeprogress的博客
11-22 580
torch.autograd模块：自动微分模块，自动计算张量操作的梯度，可以自动求导实现权重参数的更新。
机器学习-Sklearn（第三版）Day3 数据预处理（数据标准化&归一化&正则化）
weixin_43902376的博客
12-20 2098
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。（通常来说我们现实输入的特征矩阵都是一维以上的数据）
机器学习（三）矩阵的运算及性质
weixin_53312629的博客
01-02 2931
本文简单的复习了一下机器学习中用到的一些关于矩阵的基本知识，包括矩阵的加法乘法、逆运算、转置等，同时也简单的介绍了一下如何使用Octave计算矩阵的逆。
机器学习中的矩阵运算及迹运算规则.pdf
03-08
这篇文章是英文的，针对机器学习中的矩阵运算，尤其是迹运算，作了详细和生动的讲解，是教程类资源。作者是Thomas P. Minka.
机器学习之numpy入门—向量和矩阵入门
09-09
机器学习小白入门之自学numpy，学习之余自己整理了一下numpy基础部分的内容，主要是对矩阵、向量的一些基本操作函数和函数使用格式。
机器学习的基础——矩阵
m0_47397401的博客
05-21 1014
一、基本概念 1、矩阵的定义
吴恩达《机器学习》矩阵运算笔记
weixin_41906254的博客
01-11 325
写数学公式太麻烦了，还是手写拍照比较方便，毕竟只是自己的学习笔记，看得懂就好，没必要花太多时间。 第三章 线性代数回顾 矩阵的加法 矩阵的乘法 矩阵的逆 矩阵的转置 ...
机器学习之矩阵分析
New_Leaf的博客
04-28 551
机器学习过程中，使用到的线性代数知识
机器学习 数学基础 学习笔记 （2）矩阵
人生是一场修行
12-13 974
1.矩阵 在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合。 定义： 由 m × n 个数aij 排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作： 这m×n 个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数 aij为(i,j)元的矩阵可记为(aij)或(aij)m × n，m×n矩阵A也记作Amn。 元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵。 2.矩阵的基本
机器学习入门矩阵篇
polyvinyl328的博客
12-24 265
1.问题一：计算从地球向月球发射的飞行器收到地月引力影响的加速度、速度、以地球为原点的空间坐标系上的位置：欧拉法、 2.问题二：使用python进行矩阵计算：包括加减、点乘叉乘、投影。向量表示的线的位置关系、交点求解；三维平面交点位置关系: 主要通过线或面的法向量进行判断。  词组积累：neat algebra trick ; swap the vector; direction vector/...
浅析机器学习数学基础（5）---矩阵
YYDGS的博客
12-19 412
矩阵 行列式 计算 矩阵和行列式的对比 ​ ---------------------------------------------------------------------------------------------------------------------------- 行列式 矩阵 有n*n个元素 有m*n个元素 本质上是一个数表 1.行数...
矩阵- Matrices 线性代数
鱼子的博客
10-31 1156
矩阵 在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合 矩阵相加 通常的矩阵加法被定义在两个相同大小的矩阵矩阵乘法矩阵和向量的乘法 如图：m×n 的矩阵乘以 n×1 的向量，得到的是 m×1 的向量 矩阵乘法： m×n 矩阵乘以 n×o 矩阵，变成 m×o 矩阵。 矩阵乘法的性质： 矩阵的乘法不满足交换律：A×B≠B×A 矩阵的乘法满足结合律。即：A×（B×C）
python机器学习天气预测
最新发布
12-27
### 使用 Python 和机器学习模型进行天气预报 #### 数据准备 为了建立有效的天气预报模型，数据收集至关重要。通常情况下，气象数据可以从公开API获取，如OpenWeatherMap API或其他政府提供的气象服务接口。这些数据应至少包含温度、湿度、气压等基本信息。 对于特定应用案例，在环境数据的选择上可以更加聚焦于影响天气变化的关键因素[^4]。例如，在某些场景下可能仅选用温度和风速作为特征输入来简化模型复杂度并提高效率；同时去除那些对结果贡献较小甚至可能导致噪声增加的因素，比如风向。 #### 特征工程 在构建预测模型之前，还需要做好充分的预处理工作——即所谓的“特征工程”。这一步骤旨在从原始采集到的信息中提取出有助于提升算法性能的新属性或转换现有字段使其更适合后续计算需求。具体措施包括但不限于： - **时间戳解析**：将日期字符串转化为易于操作的时间对象； - **周期性变量编码**：针对具有循环性质的数据项（像月份），采用正弦/余弦变换等方式表示其内在规律； - **滞后效应引入**：利用过去一段时间内的观测记录创建新的维度，帮助捕捉潜在模式； - **异常值检测与修正**：识别并合理处置偏离正常范围过多的数据点以免干扰整体判断准确性。 ```python import pandas as pd from datetime import datetime, timedelta def preprocess_data(df): df['datetime'] = pd.to_datetime(df['date']) # Extracting time features df['year'] = df['datetime'].dt.year df['month_sin'], df['month_cos'] = zip(*df['datetime'].apply(lambda dt: ( np.sin(2 * np.pi * dt.month / 12), np.cos(2 * np.pi * dt.month / 12)))) # Adding lagged values of temperature and wind speed for i in range(1,9): df[f'temp_lag{i}'] = df['temperature'].shift(i) df[f'wind_speed_lag{i}'] = df['wind_speed'].shift(i) return df.dropna() ``` #### 模型训练 一旦完成了上述准备工作，则可以根据实际业务目标挑选合适的监督式学习方法来进行建模尝试。这里推荐使用Scikit-Learn库中的随机森林回归器(RandomForestRegressor)，因为它不仅能够很好地应对多维连续型输出问题，而且具备较强的泛化能力不易过拟合。 当然如果追求更高的精度以及更复杂的非线性关系表达的话，还可以考虑基于梯度下降优化策略开发出来的集成框架XGBoost或者LightGBM，它们特别擅长处理大规模稀疏矩阵并且支持GPU加速运算从而加快迭代速度。 ```python from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error # Assuming `data` is the preprocessed DataFrame from previous step. features = ['temp_lag1', 'temp_lag2', ..., 'wind_speed_lag8'] target = 'next_day_temperature' X_train, X_val, y_train, y_val = train_test_split( data[features], data[target], test_size=0.2, random_state=42) model = RandomForestRegressor(n_estimators=100, max_depth=None, min_samples_split=2, n_jobs=-1) model.fit(X_train, y_train) predictions = model.predict(X_val) mse = mean_squared_error(y_val, predictions) print(f'Mean Squared Error on validation set: {mse:.3f}') ``` #### 预测执行 最后当一切就绪之后就可以编写脚本文件用于定期更新最新的天气状况并向外界展示成果了。按照给定路径直接调用Python解释器加上指定入口模块即可完成整个流程自动化部署[^2]。 ```bash $ python path/to/Main.py ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值