知识梳理
关注
分享
扫一扫
AndyViky
这个作者很懒，什么都没留下…
展开
-
nlp常用任务以及各类任务常用模型
nlp常用任务以及各类任务常用模型本文主要简单描述目前nlp方向的应用类型以及该类型下的常用方法（以及目前通用的数据集）详细信息参考自 https://github.com/sebastianruder/NLP-progressnlp四大任务类型序列标注：分词/POS Tag词性标注/NER命名实体识别分词/POS Tag词性标注目前分词和词性标注技术已经非常成熟，常用的库有Jie...原创 2019-12-02 16:33:34 · 2565 阅读 · 0 评论 -
使用torchtext将文本转为ID表示
使用torchtext将文本转为ID表示此文详细介绍了如何使用torchtext加载文本数据并且转为由ID表示的数据。torchtext 加载文本数据def get_dataset(path, text_field, label_field): train, dev = data.TabularDataset.splits( # 支持 json, dict, c...原创 2019-12-01 17:21:09 · 762 阅读 · 0 评论 -
nlp 中文数据预处理
nlp 中文数据预处理此博文详细介绍中文数据预处理的过程并配上一定量的代码作为实例数据加载（默认csv格式）import pandas as pddatas = pd.read_csv("./test.csv", header=0, index_col=0) # DataFramen_datas = data.to_numpy() # ndarray 转成numpy更好处理（个人喜好）...原创 2019-12-01 15:13:23 · 1623 阅读 · 0 评论 -
numpy基础操作
numpy基础操作==================================================================numpy（Numerical Python）提供了python对多维数组对象的支持：ndarray，具有矢量运算能力，快速、节省空间。numpy支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。(1) 创建数组的简单使...原创 2019-05-12 16:58:21 · 336 阅读 · 0 评论 -
常用正则表达式总结
常用正则表达式总结符号符号详解\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\”匹配“\”而“(”则匹配“(”。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。$匹配输入字符串的结束位置。如果...原创 2019-05-02 17:27:18 · 207 阅读 · 0 评论 -
从docker容器中取出数据库
从docker容器中取出数据库或其他文件本文将详细讲述如何从linux服务器中取出已经部署的docker容器中的数据库表以及数据，并且将数据传送到本地服务器。step 1在本地主机利用ssh登陆远程服务器。ssh `servername`@xxx.xx.xxx.xx -p 端口号 // 输入正确的密码即可step 2查看docker端口号以及进入docker容器环境docker p...原创 2019-04-25 23:44:35 · 2045 阅读 · 0 评论 -
maching learning入门（六）
ml入门（六）powered by @李宏毅第十五课（Reinforcement Learning）让机器根据不同的action将会得到不同的response，可能是不好的，也可能是好的。reinforcement learning要做到的事情就是让reward最大化。有时reward的情况是非常sparse的，大部分reward的返回都为0。RL的难点在于如何在sparse的情况下得到...原创 2019-04-02 15:00:02 · 273 阅读 · 0 评论 -
maching learning入门（五）
ml入门（五）powered by @李宏毅第十三课（RNN,recurrent neural network，循环神经网络）全连接神经网络和卷积神经网络他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些...原创 2019-04-02 10:14:28 · 383 阅读 · 0 评论 -
deep learning入门（三）
DL入门（三）powered by @李宏毅第九课（GAN）原创 2019-04-23 22:43:44 · 369 阅读 · 0 评论 -
deep learning入门（二）
DL入门（二）powered by @李宏毅第四课（Sequence to Sequence）1 Sequence Generation输入一个vector,输出也为一个vector。2 Conditional Sequence Generation产生符合某种情景的句子或者图片…3 Dynamic Conditional Sequence Generation假如输入的是...原创 2019-04-06 16:38:11 · 348 阅读 · 0 评论 -
maching learning入门（四）
ml入门（四）powered by @李宏毅第十课（迁移学习）1 model fine-tuning(1) 由于target data较少，容易过拟合，解决办法： 1 conservative training(保守训练) copy大部分参数，update小部分参数 which layer can be transferred(copied)?2 multitask lea...原创 2019-04-01 11:20:52 · 340 阅读 · 0 评论 -
deep learning入门（一）
DL入门（一）powered by @李宏毅第一课（Deep Learning概览）outline:1 Universalitytheroy: 使用一层的Neural network就可以fit所有的函数。what is the L-Lipschitz function?output的变化一定要小于等于input的变化。how many neurons are needed...原创 2019-04-05 12:54:54 · 507 阅读 · 0 评论 -
maching learning入门（二）
ml入门（二）powered by @李宏毅第六课（deep learning）原创 2019-03-26 17:47:16 · 249 阅读 · 0 评论 -
maching learning入门（三）
ml入门（二）powered by @李宏毅第七课（cnn）convolutionmax poolingflatten原创 2019-03-29 16:29:42 · 599 阅读 · 0 评论 -
deep learning入门（四）
DL入门（四）powered by @李宏毅第十课（DRL概念）原创 2019-04-26 17:59:52 · 194 阅读 · 0 评论 -
starGAN知识小结
starGAN知识小结本文为阅读完starGAN论文后作出的系统小结。论文地址starGAN顾名思义就是星型GAN结构，其解决的主要问题为 multi-domain 的 image-to-image 转换。相比于传统的拥有 k 个 domain 的多领域图片转换需要训练 k(k-1) 个 generator ，效率极其低下，也无法充分地利用到训练数据，同时传统的解决方法也无法衔接多个数据集的...原创 2019-05-14 16:10:17 · 2325 阅读 · 0 评论 -
各类GAN特征描述（持续更新）
各类GAN特征描述DC-GAN：structure:ps:（生成器的最后一层和判别器的第一层不加batch-norm）paper: http://arxiv.org/abs/1511.06434contributions：1 将网络应用于GAN的训练。2 为GAN的训练提供了一个很好的网络拓扑结构。3 表明生成的特征具有向量的计算特性。weakness：1 但是对GAN训练稳...原创 2019-07-20 16:46:09 · 2470 阅读 · 1 评论 -
DEC(Deep Embedded Cluster)小结
Deep Embedded ClusterReferences:https://zhuanlan.zhihu.com/p/50365577https://flashgene.com/archives/7798.htmlhttps://zhuanlan.zhihu.com/p/28967965http://proceedings.mlr.press/v48/xieb16.pdf原创 2019-06-30 09:40:22 · 7066 阅读 · 0 评论 -
GANMM小结
GANMM小结简介GANMM (Generative Adversarial Network Mixture Model) 是利用 GAN 进行聚类的一个模型，在传统聚类中非常典型的一个方法是利用高斯混合模型去匹配各个分布，高斯混合模型顾名思义就是利用多个高斯分布分别去拟合不同的分类，即有几个高斯分布就有几个聚类。但是高斯混合模型的最大缺点是无法拟合非常复杂的数据，在现实生活中大多数的数据并不...原创 2019-06-09 17:51:22 · 3512 阅读 · 0 评论 -
ClusterGAN知识小结
ClusterGAN知识小结简介ClusterGAN 是第一个解决GAN在潜在空间聚类问题的工作，通过从一个one-hot编码变量和连续潜在变量的混合中对潜在变量进行采样，结合反向网络（将数据投射到潜在空间）与聚类特定损失共同训练，能够实现在潜在空间的聚类。主要贡献在一般的GAN中，即使潜在变量保留了关于观测数据的信息，潜在点也会基于潜在分布而平滑地分散，导致没有可观察到的聚类。为了解...原创 2019-06-02 19:47:25 · 2876 阅读 · 0 评论 -
高斯混合模型知识小结
高斯混合模型知识小结简介高斯混合模型(Gaussian Mixed Model)顾名思义，指的是多个高斯分布函数的线性组合，理论上GMM可以通过不同个数的高斯分布拟合出任意类型的分布。设有随机变量X，则混合高斯模型可以用下式表示：其中πk是混合系数（mixture coefficient），满足：GMM的应用GMM一般用于聚类，有几个高斯分布函数即代表有几个分类，在GMM中选取一...原创 2019-06-01 22:56:22 · 960 阅读 · 0 评论 -
空间转换网络(Spatial Transformer Networks)
空间转换网络(Spatial Transformer Networks)普通的CNN能够显示的学习平移不变性，以及隐式的学习旋转不变性，但attention model 告诉我们，与其让网络隐式的学习到某种能力，不如为网络设计一个显式的处理模块，专门处理以上的各种变换。空间变换网络，允许神经网络学习如何在输入图像上执行空间变换，以增强模型的几何不变性，意思就是在对样本内容作微小的移动之后不会...原创 2019-05-27 22:48:50 · 2186 阅读 · 0 评论 -
Fast Gradient Sign Attack（FGSM）算法小结
Fast Gradient Sign Attack（FGSM）算法小结对抗攻击引发了机器学习一系列的思考，训练出来的model是否拥有强大的泛化能力？模型的准确率是否真实？在对抗攻击中添加一些肉眼无法识别的噪声可能会对识别效果产生巨大的影响。什么是对抗攻击对抗攻击的核心思想就是人为地制造干扰项去迷惑模型，使模型产生错误的结果。在计算机视觉中，对抗攻击就是在原图上添加一些人为无法识别的噪声...原创 2019-05-26 18:45:29 · 4777 阅读 · 0 评论 -
BEGAN知识小结
BEGAN知识小结本文为阅读完BEGAN论文后作出的系统小结。论文地址简介BEGAN是Google在17年上半年出的一篇论文，该论文对GAN做了进一步的改进，使得在没有使用一些trick的时候GAN依旧可以训练的很好，模式奔溃和训练不平衡等问题也解决的非常好。以往的GAN都是希望生成器生成的model和真实数据的model分布尽量相近，BEGAN从loss的角度进行比较，希望生成器生成的...原创 2019-05-17 13:40:25 · 914 阅读 · 0 评论 -
python核心学习（高级特性，字符串操作等）
python核心学习（高级特性，字符串操作。。。）==================================================================(1) 基础特性1 数据类型整数 Number浮点数 Float字符串 String(可用单引号‘ ’ 以及双引号” “)布尔值 Boolean(True, False)空值 None2...原创 2019-05-12 15:42:24 · 300 阅读 · 0 评论 -
maching learning入门（一）
ml入门（一）powered by @李宏毅第一课（机器学习总揽）ml基本步骤找出一个function set让maching拥有衡量一个function好坏的能力loss function L:input: a function output: how bad it is使用一个好的演算法挑出最好的那个functionfind a function wit...原创 2019-03-25 17:18:15 · 667 阅读 · 0 评论 -
react基础操作
react(入门)生命周期getDefaultProps()设置默认的props，也可以用dufaultProps设置组件的默认属性.getInitialState()在使用es6的class语法时是没有这个钩子函数的，可以直接在constructor中定义this.state。此时可以访问this.propscomponentWillMount()组件初...原创 2019-03-15 22:00:59 · 196 阅读 · 0 评论 -
wepy进阶
wepy学习(二)config详解 config = { pages: [ // 页面路径定义，也就相当于路由的定义，wepy默认使用pages下的文件名作为路由，但是需要在此处注册 'pages/articles', ], window: { // 初始化定义小程序相关样式，以及是否启用相关功能 backgroundTextStyle: 'dark...原创 2019-03-11 17:34:28 · 417 阅读 · 0 评论 -
ES6相关扩展 (二)
ES6相关扩展 (二)对象的扩展属性的可枚举性和遍历对象的每个属性都有一个描述对象（Descriptor），用来控制该属性的行为。Object.getOwnPropertyDescriptor方法可以获取该属性的描述对象。 let obj = { foo: 123 }; Object.getOwnPropertyDescriptor(obj, 'foo') // {...原创 2019-02-01 16:45:36 · 230 阅读 · 0 评论 -
ES6相关扩展 (一)
ES6相关扩展 (一)字符串的扩展codePointAt() 能够正确处理 4 个字节储存的字符，返回一个字符的码点。 let s = '原创 2019-02-01 15:41:33 · 180 阅读 · 0 评论 -
linux下软虹人脸引擎学习笔记一
linux下软虹人脸引擎学习笔记一跑通软虹人脸检测官网下载开发包, 获取相关id key解压 arcface_detection 获取源码 目录结构如下|----doc| |----ARCSOFT_FACEDETECTION_DEVELOPER'S_GUIDE.pdf 开发文档| |----releasenotes.txt 版本介绍以及一些相关笔记|-...原创 2018-02-10 10:39:17 · 1088 阅读 · 0 评论 -
node模块
node模块记录模块简介：一个js文件为一个最小模块遵循commonjs规范，通过require(“模块名”) 引用,module.export(“模块名”)暴露node引入模块需要经过三步： 路径分析文件定位 编译执行 (默认编译 js文件，如果没寻找到js文件那么将会寻找.node文件，接下来.json文件)require文件路径 ./name or ../na原创 2017-12-04 11:21:04 · 400 阅读 · 0 评论 -
安装strongloop框架
安装strongloop框架以及集成sequlizeinstall studyfirst install node and npmrun npm install -g loopback-clirun npm install -g apiconnectrun npm install -g strongloopif you want to look version, you c原创 2017-12-31 18:47:03 · 1007 阅读 · 0 评论 -
StrongLoop microgateway使用总结（一）
StrongLoop microgateway使用总结（一）源码引入github地址https://github.com/strongloop/microgateway不使用manage管理工具拉取源码git clone https://github.com/strongloop/microgatewaynpm install 安装依赖项在根目录创建 app原创 2017-12-31 22:42:10 · 596 阅读 · 0 评论 -
StrongLoop microgateway使用总结（二）
StrongLoop microgateway使用总结（二）源码引入github地址https://github.com/strongloop/microgateway不使用manage管理工具网关流程图详解,以及各个现有策略简介 由于网关为开源项目, 所有可以在自定义自己想要的策略 网关是基于node的express框架网关图表具体展示网关原创 2017-12-31 23:32:59 · 982 阅读 · 0 评论 -
StrongLoop microgateway使用总结（三）
StrongLoop microgateway使用总结（三）源码引入github地址https://github.com/strongloop/microgateway不使用manage管理工具网关访问多个接口获取后台数据聚合问题由于自带策略invoke只实现一个后台接口对应一个网关接口.这导致数据聚合无法实现自定义策略, 思想: 网关请求多个接口,拿到数据原创 2018-01-01 10:41:04 · 907 阅读 · 2 评论 -
python virtualenv 使用教程
python virtualenv 使用默认已经下载pip 否则自行下载sudo apt-get install python3-pip or sudo apt-get install python2-pip下载 virtualenv pip3 install virtualenv 创建 env 1. mkdir env_test, 2. cd原创 2018-01-08 10:42:44 · 1534 阅读 · 0 评论 -
markdown个人总结
标题======this is h1------this is h2------ # h1## h2### h3#### h4##### h5###### h6 段落> This is a blockquote with two paragraphs. Lorem ipsum dolor sit amet,consecte...原创 2017-12-31 18:44:28 · 419 阅读 · 0 评论 -
vue 嵌入 laravel
vue 嵌入 laravelfirst configure package.json file{ "private": true, "scripts": { "prod": "gulp --production", "dev": "gulp watch" }, "devDependencies": { "bootstr原创 2017-12-31 18:43:30 · 1064 阅读 · 0 评论 -
c语言头文件总结
c语言头文件总结序号 库类别 头文件1 字符处理 ctype.h2 地区化 local.h3 数学函数 math.h4 信号处理 signal.h5 输入输出 stdio.h6 实用工具程序 stdlib.h7 字符串处理 string.h一、头文件 ctype.h字符测试函数是否字母和数字 isalnum是否字母 isalpha是否控制字符 iscntrl...原创 2019-02-01 19:54:25 · 371 阅读 · 0 评论