APythonC的博客

网上的代码import numpy as npimport pandas as pd txt = np.loadtxt('junyi_ProblemLog_for_PSLC.txt')txtDF = pd.DataFrame(txt)txtDF.to_csv('junyi_ProblemLog_for_PSLC.csv',index=False)实测不行改进的代码import numpy as npimport pandas as pdtxt = np.genfromtxt('ju

无监督学习：自动编码器IntroductionRecap: PCADeep Auto-encoderStructurePCA vs Deep Auto-encoderText Retrieval（文字检索）Similar Image SearchPre-training DNNDe-noising auto-encoder（去噪自动编码器）Auto-encoder for CNNCNN - UnpoolingDeconvolutionIntroductionAuto-encoder本质上就是一个自我压缩

无监督学习：PCAPCAFormulaDecorrelationAnother Point of ViewWeakness of PCAPCA for PokemonPCA for MNISTPCA for FacePCA如果reduce to 1D，我们使用z1=w1∗xz_1=w^1*xz1​=w1∗x，使得xxx投影到w1w^1w1上，即达到了降维的目的，那么我们如何来评价降维的好坏呢？我们可以使用降维之后数据的variance来评价，variance越大越好如果reduce to 2D，那

无监督学习 - 介绍OverviewClusteringIntroductionHAC（层次聚类）Dimension Reduction（降维）IntroductionWhy Dimension Reduction Help?How to do Dimension Reduction？Overview无监督学习(Unsupervised Learning)可以分为两种：化繁为简：聚类(Clustering)降维(Dimension Reduction)无中生有(Generation)Cl

无监督学习：邻居嵌入Manifold Learning（流形学习）Locally Linear Embedding (LLE)（局部线性嵌入）Laplacian Eigenmaps（拉普拉斯特征图）T-distributed Stochastic Neighbor Embedding (t-SNE)Manifold Learning（流形学习）在高维空间里，距离该点很远的点很可能与这个点也是有关联的，因此我们可以把3-D的空间进行降维，那么我们就可以更方便地进行clustering或unsupervis

RNN条件生成&注意GenerationConditional GenerationAttentionDynamic Conditional GenerationMachine TranslationSpeech RecognitionImage Caption Generation（图片字幕生成）Memory NetworkNeural Turing Machine（神经图灵机）Tips for GenerationAttentionMismatch between Train and TestM

网络压缩Why ？Network Pruning（修剪）Network can be prunedNetwork PruningWhy Pruning?Lottery Ticket Hypothesis（彩票假说）Pratical Issue（实际问题）Knowledge DistillationStudent and TeacherEnsemble（合奏）TemperatureParameter Quantization（参数量化）Architecture Design（架构设计）Low rank app

攻击机器学习模型MotivationWhat do we want to do?Loss Function for AttackConstraintHow to AttackExampleAttack ApproachesWhite Box v.s. Black BoxBlack Box AttackAttack in the Real WorldDefenseMotivationWhat do we want to do?attack要做的事就是把找到原图片x0x^0x0对应的x′x'x′Lo

可解释的MLIntroductionWhy we need Explainable ML?Interpretable v.s. PowerfulLocal ExplanationBasic IdeaLimitation of Gradient based ApproachesAttack InterpretationGlobal ExplanationActivation Minimization (review)Constraint from GeneratorUsing a model to expla

这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录

词嵌入：word embeddingIntroductionWord EmbeddingCount basedPrediction basedSharing ParametersTrainingVarious Architectures（各种架构）ResultIntroduction用vector来表示一个word，最传统的做法是1-of-N Encoding，可以把有同样性质的word进行聚类，划分成多个class，然后用word所属的class来表示这个word，最后把每一个word都投影到高维空间

递归神经网络：一般用于记住之前的状态，以供后续神经网络的判断一级目录二级目录三级目录一级目录二级目录三级目录

这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录

反向传播一级目录二级目录三级目录一级目录二级目录三级目录

卷积神经网络Why CNN for Image？Three Property for CNN Theory BaseThe Whole CNN StructureCNN – ConvolutionProperty 1Property 2Feature MapColorful imageConvolution V.s. Fully ConnectedCNN – Max PoolingOperation of max poolingConvolution + Max PoolingFlattenWhy CNN

DeepShallow V.s. DeepModularization（模块化）exampleSpeechlanguage basicsprocessAnalogyLogic Circuit剪窗花End-to-end LearningConclusionShallow V.s. DeepDeep Learning在很多问题上的表现都是比较好的，越deep的network一般都会有更好的performance那为什么会这样呢？有一种解释是：一个network的层数越多，参数就越多，这个model就越

深度学习一级目录二级目录三级目录一级目录二级目录三级目录

逻辑回归Step 1: Function Set二级目录三级目录Step 1: Function Set二级目录三级目录

分类问题输入数值化How to do Classification三级目录分类问题就是输入找⼀个function，它的input是⼀个object，它的输出是这个object属于哪⼀个class以宝可梦为例，已知宝可梦有18种属性，做⼀个宝可梦种类的分类器，找⼀个function的input是某⼀只宝可梦，output是这只宝可梦属于这18属性中的哪⼀个。输入数值化要想把⼀个东西当做function的input，就需要把它数值化，即用一组数字来描述一只宝可梦的特性（可以理解成各项属性的种族值）Ho

学自覃秉丰老师所授课程step 1：载入数据画出图像step 2：求解拟合此数据的直线的参数step 1：载入数据画出图像import numpy as npimport matplotlib.pyplot as plt# 载入数据data = np.genfromtxt("data.csv", delimiter=",")# 取所有行第0列数据x_data = data[:,0]# 取所有行第1列数据y_data = data[:,1]# 画图工具plt.scatter(x_dat

Gradient DescentReviewTip 1：Tuning your learning rates三级目录Review下图是将gradient descent在投影到⼆维坐标系中可视化的红色箭头是指在（θ1，θ2） 这点的梯度，梯度方向即箭头方向(从低处指向高处)，梯度大小即箭头长度(表示在θ点处最陡的那条切线的导数大小，该方向也是梯度上升最快的方向) ；蓝色曲线代表实际情况下参数θ1和θ2的更新过程图，每次更新沿着蓝色箭头方向loss会减小，蓝色箭头方向与红色箭头方向刚好相反，代表着梯度

Basic ConceptWhere does the error come from?Bias and Variance of Estimator三级目录Where does the error come from?越复杂的model不见得会带给你越低的errorerror主要来源于 bias（偏差） 和 variance（方差）了解了error的来源有助于采取适当的方法来improve你的modelBias and Variance of Estimator均值、方差、样本估计总体、无偏估计

RegressionHow to do betterregularization解决overfittingHow to do better需要重新设计model在gradient descent可以找到best function的前提下，function所包含的项的次数越高，越复杂，error在training data上的表现就会越来越小；但是，我们关心的不是model在training data上的error表现，而是model在testing data上的error表现。在本例中，之前我们的

RegressionModel函数的适合度挑选最好的函数回归：输出一个标量Model线性模型：b表示截距，w表示直线的斜率函数的适合度x轴表示输入前数值，y轴表示输入后数据Loss Function L：输入一个方法，输出告诉你这个方法有多不好Input：a FunctionOutput：How bad/good it is估测误差：真实值y减去预测值再取平方（最小二乘法）如果L(f)越大，说明该Function表现得越不好；L(f)越小，说明该Function表现得越好挑选最好

入门Learning Map你想要找什么样的函数怎样告诉机器你要找什么样的函数机器怎样找出你想要的函数课程作业安排机器学习就是自动找函数（方法）。典型应用如：语音识别、图像识别、下围棋、对话系统等等。Learning Map下图中，同样的颜色指的是同一个类型的事情蓝色方块指的是Scenario，即学习的情境。通常学习的情境是我们没有办法控制的，比如做Reinforcement Learning是因为我们没有Data、没有办法来做Supervised Learning的情况下才去做的。如果有Data