qq_34755941的博客

思考k近邻算法的模型复杂度体现在哪里？什么情况下会造成过拟合？ 答：模型复杂度体现在k上；k较小时，容易造成过拟合；k较大时，容易造成欠拟合。 给定一个二维空间的数据集T={正实例:(5,4),(9,6),(4,7)；负实例:(2,3),(8,1),(7,2)}，试基于欧式距离，找到数据点S(5,3)的最近邻(k=1)，并对S点进行分类预测。 用“线性扫描”算法自编程实现； impor...

1. 证明感知机学习算法的收敛性。 来源：统计学习方法 算法收敛性的定义：经过有限次迭代可以得到将训练集完全正确划分的分离超平面和模型。 前提：训练数据集是线性可分的，存在超平面使之分开，这样的超平面的参数设为Wopt,boptW_{opt},b_{opt}Wopt​,bopt​。 设wopt^=(woptT,bopt)T,x^=(xT,1)T,∣∣wopt^∣∣=1\hat{w_{opt}}=(...

谱聚类（spectral clustering）原理总结： 谱聚类（spectral clustering）是广泛使用的聚类算法，比起传统的K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀，同时聚类的计算量也小很多，更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时，个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。 1. 谱聚类概述 谱聚...

数学概念 logistic回归听名字是一个回归问题，但其实是一个二元分类问题，losgistic函数如下所示： f(x)=11+e−x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1​ 图像如下： 如图所示，当x趋向于正无穷时，f(x)的值趋向于1；当x趋向于负无穷时，f(x)的值趋向于0，0.5为分界线。 P(Y=1∣x)=f(x)=11+e−θ1+θ2x P(Y=1|...

第一章 神经网络如何工作 1.1 -1.7 简单介绍 问题：为什么必须把前后层的每一个神经元与其他所有层的神经元相互连接，为啥不采用创造性的方式进行连接？ 答案：第一，这种完全一致的形式可以相对容易的编码成计算机指令； 第二，神经网络的学习过程会弱化这些实际上不需要的连接（也就是这些层的权重为趋近于0）。 1.8 矩阵乘法 矩阵点乘： [w1,1w2,1w1,2w2,2]∗[input1inpu...

了解mysql数据库管理系统，内容如下： 1. 基于数据库的PHP项目 目前动态网站都是基于数据库，将网站内容用数据库存放（用户，栏目，图片，评论） 2. 为什么要使用Mysql oracle、DB2、SQL Server PHP+Mysql 黄金搭档 3. Mysql架构 c/s client/server 客户端 服务器--数据库---表-...

import tensorflow as tf import numpy as np #定义训练数据batch的大小（就是一次放入多少数据） batch_size=8 #定义神经网络的参数 w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) w2=tf.Variable(tf.random_normal([3,1],stddev=1...

参考：https://mp.weixin.qq.com/s/Dv51K8JETakIKe5dPBAPVg 目录 1 矩阵分解 1.1 矩阵分解的原因（作用） 1.2 矩阵分解的方法 1.3 推荐学习的经典矩阵分解方法 2 SVD具体介绍 2.1 特征值、特征向量、特征值分解 2.2 SVD分解 2.3 SVD分解的应用 3 NMF(非负矩阵分解） 3.1 背景 3.2 NM...