KuFun人工智能的专栏

集合及其运算   数学以其严谨而富有逻辑性闻名于世,其严谨性在于交代清楚问题，对象，概念以及关系等方方面面的事务。而现代数学最为关键的两个部分就是集合论和公理化，故集合的重要性不言而喻。 集合论诞生于十九世纪创始人是格奥尔格·康托尔德国数学家1845.3.3-1918.1.6集合的概念   在朴素集合论中，不能精确地定义什么是集合。我们只能给出集合的直观描述：具有某种属...

大规模机器学习large scale machine learning在机器学习中，决定因素往往不是算法最优，而是谁的训练数据最多。得到一个高性能的机器学习系统的最佳途径，如果你采用低偏差的学习算法，并进行大量的数据进行训练...

协同改进过滤算法将会把 x 和 θ\thetaθ 初始化为小的随机值。用梯度下降或者其他的高级优化算法把这个代价函数最小化。用一个具有一些参数 θ\thetaθ 的用户，以及一部学习得到的特征 x的电影，来预测该用户给电影的评分。向量化实现协同过滤算法也叫做 低秩矩阵分解 low rank matrix factorization均值归一化Mean normalizat...

推荐系统是机器学习中的一个重要的应用。推荐系统的特征对于学习算法的性能有很大的影响。预测电影评分例子：有 5 部电影和 4 个用户，要求用户为电影打分。基于内容的推荐算法content based recommendations每部电影都有两个特征x1,x2x_1,x_2x1​,x2​可以根据特征和参数，生成空缺值的预测值...

异常检测Anomaly detection举个飞机制造厂商的例子其实类似于生产线的QA 质量控制测试密度估计小于阈值，异常点大于阈值，正常应用较为广泛的实际上有欺诈异常检测，也有制造业欺诈高斯分布 Gaussian distribution也叫正态分布 normal distribution方差 variance高斯分布例子参数估计样本的密度估计dens...

降维dimensionality reduction有几个原因去降维数据压缩 data compression使得数据占用较小的空间,还能对学习算法进行加速。可视化数据数据压缩，用一维取代二维，减少冗余redeuces the redundancy用二维取代三维可视化数据如果将数据可视化，可以更好的了解数据。50维数据50维→\rightarrow→ 2维，但是其可...

K-Means优化目标clustering optimization objective优化目标函数有两个目的：可以对学习算法进行调试，确保 K-Means 运行正确运用K-Means 优化目标可以找到更好的簇，并避免局部最优解，从而找到全局最优。这里的代价函数也叫失真函数 distortion function随机初始化多次的初始化可以更好的避开局部最优K-Means存在...

支持向量机(SVM)Support Vector Machine除了逻辑回归和神经网络，支持向量机为非线性方程的解决提供了一种更为清晰，更加强大的方式。粗略地看，SVM会构造出分段的结果，SVM的输出结果也不是得到概率，而是其中一个结果。核函数kernels是用于解决similarity相似度问题的库文件libsvm是非常好的使用SVM的工具无监督学习 Unsupervised Le...

随机初始化Random Initialization在逻辑回归中，可以初始化所有的θ\thetaθ为0但是在神经网络中，a1(2)=a2(2)a_1^{(2)}=a_2^{(2)}a1(2)​=a2(2)​，权重全都一样，δ\deltaδ值一样， 偏导也都一样。将会导致整个网络都很冗余，最终的逻辑回归单元只会得到一个特征...

神经网络代价函数神经网络二元分类和多类别分类问题神经网络代价函数

线性分类的局限特征量巨大时，无法表现良好或过拟合而神经网络，它在学习复杂的非线性假设上被证明是一种好得多的算法，即时输入特征空间或 n 很大，也表现良好神经网络起源 origin最初产生的目的是制造能模拟大脑的机器。逻辑单元神经元模拟成逻辑单元神经网络中， 使用S形(sigmoid)或者(逻辑 logistic) 激活函数的人工神经元,一般用g(z)表示，之前的θ\theta...

正则化线性回归regularized linear regression拟合线性模型的两种方法梯度下降正规方程梯度下降正规方程正则逻辑回归的梯度下降的方法θ\thetaθ参数...

拟合逻辑回归的模型参数θ\thetaθfit the parameters theta Cost function for logistic regression

逻辑回归 (Logistic Regression)

梯度下降法实践 学习率(Learning Rate)绘制出 pluck cost function J迭代的步数需要根据不同的算法做调整，30， 3000， 3000000行之有效的方法是：去尝试使用不同的α\alphaαto choose α\alphaα, try:…,0.001 ,0.003,0.01,0.03, 0.1, 0.3, 1,…...

矩阵(Matrix)是由数字组成的矩形阵列Rectangular arrty of numbersDemensions of matrix: number of rows X number of columns向量(vector)一个向量是一种特殊的矩阵，其只有一列矩阵An n X 1 matrixalso called n-dimensioned vector...

梯度下降(Gradient descent)是一种求函数最小值的算法，梯度下降算法可以使代价函数J最小化。不仅适用于线性回归问题，同时也适用于一些其他情况。Have some function J(θ0,θ1)J(\theta_0,\theta_1)J(θ0​,θ1​)Want minθ0,θ1J(θ0,θ1)min_{\theta_0,\theta_1}J(\theta_0,\th...

线性回归算法例子还是之前预测房价：Notation:m = Number of training examplesx’s = “input” variable/features 特征量y’s = “output” variable/ “target” variable...

动态规划 dynamic programming解决动态规划问题有五步骤定义你的一些问题 define subproblems猜是解决方案的一部分 guess(part of solution)复现 recurrencerecurse+memoizesolve riginal problem...

约束:解释线条图图7.1发展阶段1 Link2 Link2 Link∗k^*k∗图7.2争议(argument)GUZMAN -实验主义者(EXPERIMENALIST)→\rightarrow→ HUFFMAN -数学家(mathematican) →\rightarrow→ WALTS这个过程既不是归纳，也不是演绎。而是溯因so by a process of neit...

博弈 (Game Play)1997年，深蓝打败了国际象棋世界冠军。分析一下用电脑模拟下国际象棋的可能性：how it might be possible for a computer to play chess机器可以对棋盘形势进行一个描述，同人类的做法一样，讨论兵形，王安全性，但是很难实现。(Analysis and perhaps some strategy,tactics 战术...

人工智能是什么人工智能是关于算法通过表示得以呈现的约束条件而表示支持针对思维，感知和行动的有机体模型(algorithms enabled by constriants exposed by representations that support Models targeted at loops of thinking,perception,action)解释过去预测未来理解知...