
DL和ML笔记
文章平均质量分 71
瞲_大河弯弯
思维的乐趣。
展开
-
机器学习经验笔记
根据实验楼:机器学习开放基础课程整理,非常好的课!第一步:读取数据(Pandas 和 Numpy)1.初步了解数据首先读取数据df = pd.read_csv( 'https://labfile.oss.aliyuncs.com/courses/1283/telecom_churn.csv')df.head() # 查看前五行的数据为了稍微详细的了解数据的维度,特征,可以用df.shape和df.columns两个方法分别查看,还可以用df.info来输出DataFrame的总体信息。原创 2022-03-14 10:09:34 · 2020 阅读 · 0 评论 -
【动手学深度学习----现代循环神经网络笔记】
GRU介绍门控循环单元包含重置门和更新门两种,输入是由当前时间步的输入和前一时间步的隐状态给出。两个门的输出是由使用sigmoid激活函数的两个全连接层给出。二者的特点:重置门有助于捕获序列中的短期依赖关系。更新门有助于捕获序列中的长期依赖关系。两种门的数学表达式:重置门Rt与常规隐状态更新机制集成后,可以得到时间步t的候选隐状态H_hat(n x h的大小):得到候选隐状态H_hat后,与更新们Zt结合:得到最终的Ht。代码实现def gru(inputs, state,原创 2022-02-17 16:00:26 · 846 阅读 · 0 评论 -
【动手学习深度学习----循环神经网络笔记】
第一步:文本预处理一般的文本的常见预处理包括四个步骤:将文本作为字符串加载到内存中。将字符串拆分为词元(如单词和字符)。建立一个词表,将拆分的词元映射到数字索引。将文本转换为数字索引序列,方便模型操作。1.读取数据集进行忽略标点符号,和大写处理。 with open(d2l.download('time_machine'), 'r') as f: lines = f.readlines() return [re.sub('[^A-Za-z原创 2022-02-16 21:30:14 · 970 阅读 · 0 评论 -
自动化专业英语单词(人工智能+图像处理+概率论+线代)保研/复试面试使用
专业英语单词英语名称中文名称Artificial intelligence (AI)人工智能Deep learning (DL)深度学习deep neural network (DNN)深度神经网络deep Q-Network (DQN)深度Q学习End to end端到端K-Means ClusteringK聚类算法Feedforward Neural Networks前馈神经网络Linear Regression线性回归原创 2021-07-14 18:08:10 · 2144 阅读 · 0 评论 -
【持续更新】python深度学习常用第三方库安装命令
【持续更新】python深度学习常用第三方库安装命令最近要在一个新电脑上配置相关环境。。。忽然想到以后如果我换电脑,或者给别人帮忙装环境,还要重新去寻找安装命令,想着干脆在这里记录一下,方便以后了吧不要忘记安装CUDA。。。新建anaconda环境conda create --name envname python==3.7安装opencv以下代码只安装最新版pip install opencv-python下面代码安装特定版本pip install opencv-python==3原创 2021-04-19 11:24:27 · 1058 阅读 · 0 评论 -
【r3det(win10)】报错及处理方式
【r3det(win10)】报错及处理方式提示:多用google多用google多用google请保证严格按照up主的演示视频操作r3det在win10上配置的教学视频链接问题1:RuntimeError: cuda runtime error (209) : no kernel image is available for execution on the device注意我的这个是cuda(209)号问题出现原因:这个问题的出现的原因对于我来说并不是一些常见的原因,而是在编译mmdet原创 2021-03-10 17:10:38 · 1514 阅读 · 2 评论 -
CONDA安装pytoch时连接失败的问题解决(win10)
CONDA安装pytoch时连接失败的问题解决(win10)主要是要把清华镜像的通道给加入,不在官网下载!主要是要把清华镜像的通道给加入,不在官网下载!主要是要把清华镜像的通道给加入,不在官网下载!输入下面这两条语句:conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda install pytorch=1.3 torchvision cudatoolkit=1原创 2021-03-08 12:29:40 · 1041 阅读 · 0 评论 -
from shapely.geometry import Polygon报错shapely库报错
from shapely.geometry import Polygon报错错误信息如下:明明安装shapely了,但却出现这个错误,我看了很多回答,都没有解决我的这个问题,有的博主说下载whl,但是官网都404了,并且他们提供的我安装也是失败,到最后我发现我的别的环境里有一个版本的Shapely可以使用:然后安装这个版本的就解决: pip install Shapely==1.6.4.post2...原创 2020-12-17 22:14:50 · 4492 阅读 · 2 评论 -
联想集群超算LICO初次使用踩坑说明(遇到的错误,一些使用方法和singularity新建容器方法)
联想集群超算LICO初次使用踩坑说明(遇到的错误,一些使用方法和singularity新建容器方法)说明本文主要写一些我这几天初次使用LICO的过程中遇到的一点问题和解决的办法,还有一些模块的规范使用方式,和一点自己的小经验,以后如果在使用过程中踩到其他的坑和一些模块的使用方式会慢慢进行更新。。希望对你有所帮助。环境:LICO5.5主要参考内容:《LiCO 5.5.0用户指南》帮助:可以直接ctrl+F开启浏览器的查找关键字,来快速定位到想要的内容目录遇到的错误(重要)Lenovo Accel.原创 2020-10-24 12:32:08 · 7688 阅读 · 5 评论 -
深度学习笔记(四)(3)目标检测(Object detection)
深度学习笔记(四)(3)目标检测(Object detection)3.1 目标定位(Object localization)想要定位目标,要在标准的分类过程下,让神经网络多输出几个单元,输出一个边界框。具体说就是让神经网络再多输出4 个数字,标记为????????,????????,????ℎ和????????,这四个数字是被检测对象的边界框的参数化表示。(bxb_xbx,byb_yby)是指定的图象的中心点,bhb_hbh是边界框的高度,宽度为bwb_wbw若果没有检测到对象,对于pcp原创 2020-07-04 08:52:29 · 1387 阅读 · 0 评论 -
Tensorflow2.0学习笔记(二)北大曹健老师教学视频第五讲
Tensorflow2.0学习笔记(二)北大曹健老师教学视频第五讲理论部分主要写点以前看吴恩达视频没有的或者不太熟悉的了。5.1卷积计算过程实际项目中的照片多是高分辨率彩色图,但待优化的参数过多容易导致模型过拟合,实际应用时,会先对原始图像进行特征提取,再把提取到的特征送给全连接网络。卷积计算可认为是一 种有效提取图像特征的方法。5.2感受野感受野(Receptive Field) : 卷积神经网络各输出特征图中的每个像素点,在原始输入图片上映射区域的大小。就是说,对于5 * 5 的原始图片,用原创 2020-07-07 14:47:19 · 649 阅读 · 0 评论 -
Tensorflow2.0学习笔记(一)北大曹健老师教学视频1-4讲
Tensorflow2.0学习笔记(一)常见函数汇总这个笔记现在是主要根据北京大学曹健老师的视频写的,这个视频超级棒,非常推荐。张量生成原创 2020-07-07 10:34:53 · 1686 阅读 · 1 评论 -
pycharm配置IdeaVim
pycharm配置IdeaVim不知道为啥,找了一圈都没找到配置教程,,,还有的博文直接就讲不能配置???迷惑行为。配置教程原文:https://www.jetbrains.com/help/pycharm/using-product-as-the-vim-editor.html这个是官方文档。本文也是就做到翻译一下吧,我对vim配置也不太懂。第一步 安装IdeaVim然后重启pycharm这个时候打开idealvim,在Tools > Vim Emulato这个时候打开ideal原创 2020-07-04 16:17:50 · 3831 阅读 · 0 评论 -
深度学习笔记(主要是图象处理方面的)目录
深度学习笔记(主要是图象处理方面的)目录从2020年7月2日开始,我觉得这个暑假将像是一个数学题证明的过程,能不能坚持证明下去呢?要是坚持下去的话,那最后证明命题又是什么呢?希望自己自律吧。持续更新中。。。。我的吴恩达视频学习笔记深度学习笔记(一)(2)神经网络的编程基础深度学习笔记(一)(3)浅层神经网络(Shallow neural networks)深度学习笔记(一)(4)深层神经网络(Deep Neural Networks)深度学习笔记(二)(1)深度学习的实践层面深度学习笔记(二原创 2020-07-04 10:15:34 · 421 阅读 · 0 评论 -
深度学习笔记(四)(4)人脸识别和神经风格转换
深度学习笔记(四)(4)人脸识别和神经风格转换4.1 什么是人脸识别?(What is face recognition?)主要讲了人脸识别与活体检测。人脸识别问题比人脸验证问题难很多(书整理者注:1 对多问题(1:????))人脸验证之所以难,原因之一在于要解决“一次学”(one-shot learning problem)问题。4.2 One-Shot 学习(One-shot learning)人脸识别所面临的一个挑战就是你需要解决一次学习问题,这意味着在大多数人脸识别应用中,你需要通过单原创 2020-07-04 09:57:26 · 271 阅读 · 0 评论 -
深度学习笔记(四)(2)深度卷积网络:实例探究
深度学习笔记(四)(2)深度卷积网络:实例探究2.1 为什么要进行实例探究?(Why look at case studies?)事实上,过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来,形成有效的卷积神经网络。最直观的方式之一就是去看一些案例,就像很多人通过看别人的代码来学习编程一样,通过研究别人构建有效组件的案例是个不错的办法。这节课最主要的是培养阅读论文的思维能力。几个经典的神经网络LeNet-5 网络,我记得应该是 1980 年代的,经常被引用的 AlexNet,还有原创 2020-07-04 07:01:50 · 546 阅读 · 0 评论 -
深度学习笔记(四)(1)卷积神经网络
深度学习笔记(四)(1)卷积神经网络终于到了。。。。1.1 计算机视觉(Computer vision)图象识别、目标检测、风格迁移。但在应用计算机视觉时要面临一个挑战,就是数据的输入可能会非常大。1.2 边缘检测示例(Edge detection example)filter为过滤器,同时也被叫做核。这里的*为元素的乘法,输出的用绿格子框柱的地方,就是左上蓝色部分卷积后相加的值。过滤器可以做垂直检测的原因:从左到右是从明到暗的变化,所以可以用来提取边缘线,就是明亮变化程度较大的线。卷积运算原创 2020-07-03 16:32:52 · 963 阅读 · 0 评论 -
深度学习笔记(三)(2)机器学习策略(2)(ML Strategy (2))
深度学习笔记(三)(2)机器学习策略(2)(ML Strategy (2))2.1 进行误差分析(Carrying out error analysis)假设你正在调试猫分类器,然后你取得了 90%准确率,相当于 10%错误,而错误识别中有许多把狗当成了猫,这时可以收集一下,比如说 100 个错误标记的开发集样本,然后手动检查,一次只看一个,看看你的开发集里有多少错误标记的样本是狗,这样如果错误标记的样本中有10个狗,可能这么做效果不太好,但是如果有50个狗,那就赚大发了。不要鄙视人工操作在做错误分原创 2020-07-03 10:38:56 · 294 阅读 · 0 评论 -
深度学习笔记(三)(1)机器学习(ML)策略(1)(ML strategy(1))
深度学习笔记(三)(1)机器学习(ML)策略(1)(ML strategy(1))这里讲的主要是老师的经验之谈。1.2 正交化(Orthogonalization)正交化的概念是指,你可以想出一个维度,这个维度你想做的是控制转向角,还有另一个维度来控制你的速度,那么你就需要一个旋钮尽量只控制转向角,另一个旋钮,在这个开车的例子里其实是油门和刹车控制了你的速度。正交意味着互成 90 度。early stopping,那么对训练集的拟合就不太好,但它同时也用来改善开发集的表现,所以这个旋钮没那么正交化原创 2020-07-03 08:52:31 · 300 阅读 · 0 评论 -
深度学习笔记(二)(3)第三周 超 参 数 调 试 、 Batch 正 则 化 和 程 序 框 架
深度学习笔记(二)(3)第三周 超 参 数 调 试 、 Batch 正 则 化 和 程 序 框 架3.1 调试处理(Tuning process)分享一些指导原则,一些关于如何系统地组织超参调试过程的技巧。从下到上越来越参数重要纵横轴分别为一个超级参数,这里是为了探究俩个超级参数哪个影响更大;,假设超参数 1 是????(学习速率),取一个极端的例子,假设超参数 2 是 Adam算法中,分母中的????。在这种情况下,????的取值很重要,而????取值则无关紧要。如果你在网格中取点,接着,你原创 2020-07-02 21:43:31 · 357 阅读 · 0 评论 -
深度学习笔记(二)(2)优化算法
深度学习笔记(二)(2)优化算法2.1 Mini-batch 梯度下降(Mini-batch gradient descent)2.2 理解 mini-batch 梯度下降法(Understanding mini-batch gradient descent)你需要决定的变量之一是 mini-batch 的大小,????就是训练集的大小,极端情况下:如果 mini-batch 的大小等于????,其实就是 batch 梯度下降法,在这种极端情况下,你就有了 mini-batch ????原创 2020-07-02 20:27:41 · 275 阅读 · 0 评论 -
深度学习笔记(二)(1)深度学习的实践层面
深度学习笔记(一)(1)深度学习的实践层面1.1 训练,验证,测试集(Train / Dev / Test sets)在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时,我们需要做出很多决策,例如:神经网络分多少层;每层含有多少个隐藏单元;学习速率是多少;各层采用哪些激活函数。我们通常会将这些数据划分成几部分,一部分作为训练集,一部分作为简单交叉验证集,有时也称之为验证集,方便起见,我就叫它验证集(dev set),其实都是同一个概念,最后一部原创 2020-07-02 20:27:20 · 516 阅读 · 0 评论 -
深度学习笔记(一)(4)深层神经网络(Deep Neural Networks)
深度学习笔记(一)(4)深层神经网络(Deep Neural Networks)4.1 深层神经网络(Deep L-layer neural network)有一些函数,只有非常深的神经网络能学会,而更浅的模型则办不到。尽管对于任何给定的问题很难去提前预测到底需要多深的神经网络,所以先去尝试逻辑回归,尝试一层然后两层隐含层,然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上评估,或者用你的开发集来评估。4.2 前向传播和反向传播(Forward and backward原创 2020-07-02 20:26:43 · 608 阅读 · 0 评论 -
深度学习笔记(一)(3)浅层神经网络(Shallow neural networks)
深度学习笔记(一)(3)浅层神经网络(Shallow neural networks)????表示激活的意思,它意味着网络中不同层的值会传递到它们后面的层中,输入层将????传递给隐藏层,所以我们将输入层的激活值称为????[0];3.2 神经网络的表示(Neural Network Representation)有输入特征????1、????2、????3,它们被竖直地堆叠起来,这叫做神经网络的输入层。它包含了神经网络的输入;然后这里有另外一层我们称之为隐藏层,这些中间结点的准确值我们是不知道原创 2020-07-02 20:26:23 · 591 阅读 · 0 评论 -
深度学习笔记(一)(2)神经网络的编程基础
深度学习笔记(一)神经网络的编程基础根据吴恩达深度学习笔记5.7版本进行整理,把我觉得有用的给写下来,做到不水吧,写博客一来希望巩固知识,二来或许能帮到大家,三来是一种自律的过程。望他能见证我大二的暑假。符号定义第二周2.1二分类问题(Binary Classification)用一对(????, ????)来表示一个单独的样本,x表示输入,y表示输出,他只有0或1的值。2.2 逻辑回归(Logistic Regression)Hypothesis Function(假设函数)的介绍sig原创 2020-07-02 20:25:38 · 232 阅读 · 0 评论