Lesson1 Introduction_[w,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_28103049/article/details/82945474

本文介绍机器学习的基本概念，包括监督学习、无监督学习、加强学习和推荐系统等分类。通过Coursera上的Stanford University课程，探讨了线性回归、代价函数及梯度下降法等核心算法，并解释了其在解决实际问题中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Machine Learning(机器学习)

（于学习Coursera上StanfordUniversity的machinelearning课程学习笔记）

https://www.coursera.org/learn/machine-learning/home/week/1

现今使用机器学习的实例：数据库挖掘，自然语言处理(NLP)，……

机器学习分类：

Supervised learning 监督学习/Unsupervised learning 无监督学习

Reinforcement learning 加强学习/Recommender system 推荐系统

1、Regression 回归 2、Classification 分类 -->监督学习(set)

1、Clustering 聚类 2、Non-clustering 非聚类

典型问题举例：

Cocktail party problem 鸡尾酒聚会问题

该问题可归属于计算机语音识别领域

解决策略：[W,s,v] = svd ((repmat(sum(x.*x,1),size(x,1),1).*x)*x');

*svd：奇异值分解

线性回归算法

m:训练样本的数目，x:输入变量/特征值，y:输出变量/目标变量， $\theta_{i}$ (theta):模型参数

(x,y) -->一个训练样本， $(x^{(i)},y^{(i)})$ -->第i个训练样本

一般过程：Traning Set -->Learning Algorithm --> h(hypothesis假设)

liner regression 线性回归模型

$h_{\theta} (x)=\theta _{0}+\theta _{1}x=h(x)$ --> 简写

Cost Function 代价函数

$J(\theta _{0},\theta _{1})=\frac{1}{2m}\Sigma _{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})^{2}$

算法目标：实现最小化平方误差

Gradient descent 梯度下降法

$\theta _{j}:=\theta _{j}-\alpha \frac{\partial }{\partial \theta_{j} }J(\theta _{0},\theta _{1})$ 其中，(j=0,j=1),重复执行直至收敛，‘:=’为赋值号，‘ $\alpha$ ’(alpha)为学习速率

*同时更新 $\theta _{0}$ 与 $\theta _{1}$ 。

$J(\theta _{0},\theta _{1})=\frac{1}{2m}\Sigma _{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})^{2}$ ，其中 $h_{\theta} (x^{(i)})=\theta _{0}+\theta _{1}x^{(i)}$

代换 $h_{\theta }(x^{(i)})$ 容易得到

$\theta _{0}:=\theta _{0}-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})=\theta _{0}-\alpha \frac{\partial }{\partial \theta _{0}}J(\theta _{0},\theta _{1})$

$\theta _{1}:=\theta _{1}-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})*x^{(i)}=\theta _{1}-\alpha \frac{\partial }{\partial \theta _{1}}J(\theta _{0},\theta _{1})$