travalscx的博客

最近入了可解释机器学习的坑。Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead1.模型的准确度和可解释度成反比，accuracy/ interpretability/explainability trade-off。有图...

一个公众号的推送：https://mp.weixin.qq.com/s/9FlkgAERmIOamPtpIffQLg综述文章：https://www.jianshu.com/p/872509634a13

对特定的病人训练CNN，一旦一个专门的CNN被训练为一个特定的病人，它就可以单独用于快速和准确地分类可能很长的心电图数据流，这样的解决方案可以方便地用于实际-轻型可穿戴设备上的定时心电图监测和早期报警系统。训练的数据有两部分：全局（每个患者通用）和局部（患者特定）培训模式。局部数据包含每个患者心电图记录的前5分钟片段，并作为培训数据的一部分用于执行患者适；全局数据集包含每个类的部分数据。对于...

提出一个五层CNN来判别患者是否是PAF，也就是一个二分类问题；同时提出将CNN的前四层得到的作为特征之后连接其它方法，KNN，SVM等。

https://www.jianshu.com/p/b44743a90c25

双向注意力模型，尽可能使注意力在两个方向上保持一致模型的中心思想就是对于相同的training data，使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声，使注意力更加集中、准确。这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。...

https://www.jianshu.com/p/1c24eba3ba9c本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。全局注意力该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。局部注意...

http://tech.huanqiu.com/news/2016-11/9735838.html?agt=15438

Automated Detection of Arrhythmias Using Different Intervals of Tachycardia ECG Segments with Convolutional Neural Network主要是用cnn来识别不同种类的心律失常名词解释atrial fibrillation：心房颤动（简称房颤）是最常见的持续性心律失常。随着年龄增长房颤的...

使用9层cnn来对5类非危及生命的心律失常分类。通过识别心跳的种类可以实现心率异常、冠状动脉心脏病、心肌梗塞。心血管疾病有三大类：electrical、circulatory、structural。本文针对electrical类进行研究。electrical疾病分为两类：life-threatening and non-life-threatening。本文对non-life-threaten...

使用一个深度网络将ECG代表的arrhythmia分4类。深度网络综合了CNN，encoder-decoder和bidirectional RNN。网络开始使用基于cnn的encoder-decoder来将信号映射到特殊空间得到特征表示。这个特征表示在encoder后得到。之后将得到的特征表示使用bidirectional RNN进行分类。...

使用带有GRU的RNN来检测心力衰竭（HF）并与传统的方法对比，采用的数据是电子健康记录（EHR）而不是ECG。将EHR的单个event进行one-hot编码对于时间上发生的event，由单个event的one-hot向量构成时间上的向量序列（C图），这个序列作为神经网络的输入。升级方法：对one-hot使用skip-gram之后得到新的向量作为网络的输入。方法就是最基本的skip-...

谷歌发表的文章，针对nlp里的机器翻译问题，提出了一种基于注意力机制的的网络结构–Transformer。https://blog.youkuaiyun.com/songbinxu/article/details/80332992以往nlp里大量使用RNN结构和encoder-decoder结构，RNN及其衍生网络的缺点就是慢，问题在于前后隐藏状态的依赖性，无法实现并行，而文章提出的”Transforme...

https://blog.youkuaiyun.com/u013738531/article/details/81293271Attention使得运算聚焦于特定区域，也可以使得该部分区域的特征得到增强。‘very deep’的网络结构结合残差连接（Residual Network）在图像分类等任务中表现出了极好的性能。因此结合attention和residual，突出残差注意力网络。https://...

https://blog.youkuaiyun.com/Doron15/article/details/81866095神经机器翻译不像传统的统计机器翻译，它的目的是建立一个单一的神经网络，使这个网络能够最大化翻译效果。NMT通常是编码器和解码器的结合，编码器把源语句转化为固定长度的向量，由解码器生成翻译。这篇论文认为使用固定长度的向量是提升编码器解码器结构效果的瓶颈，所以提出通过让模型自动（平滑地）搜索源...

Image Caption 看图说话

提出两个网络来进行AF分类。一个是24层cnn，一个是24层cnn+3层LSTM

基本传播模型ICLTIM算法分类贪心算法KK（2003）CELF（2007）https://www.cnblogs.com/aaronhoo/p/6548760.htmlDegreeDiscount（2009）基于度数 中心度MaxDegree 选择图中度数最大的K个度。但会有邻居重叠SCG基于社区OASNET 基于社区的动态规划。假设社区是不联系的，但真实社区联系...

https://blog.youkuaiyun.com/lin_limin/article/details/81048411最近在看传播模型的论文，涉及到了GMM和EM的知识

使用中间层结合了RNN的GAN来生成时间序列数据

结合多个网络 GAN CNN encoderdecoderGAN生成有类别标签的假样本

使用mimic learning用来更精确分分类。核心：retrain

论文：Risk Prediction with Electronic Health Records: A Deep Learning ApproachExploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding将EHR数据看成一个矩阵，每一行是一个记录，列在时间序列上。...

使用GAN和autodecoder的联合网络来生成样本，解决医疗样本因为隐私性问题而比较少的问题。对于生成的样本，在生成G（z）之后，把他放入一个decoder网络中调整成适合输入的样本。这个decoder是真实样本x训练的autoencoder中的网络。...

目标：自动标记睡眠阶段，睡眠分为五个阶段。也就是一个分类问题。方法：将EEG信号的6个通道根据时间划分，例如每n秒划分一次，这样可以形成多个信号图，每个图包含6个波形。这样在时间序列上，每一段就是一个图。对图的信号进行傅立叶变换形成新的。使用RCNN来进行学习，卷积来提取图的特征，RNN来进行时间上的学习。pipline：...

论文提出一种数据丰富的方法，需要结合先验知识。

http://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=pc应用在推荐系统上https://www.jianshu.com/p/2e7ffe06fcdd?tdsourcetag=s_pcqq_aiomsg

Deep Patient：An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records总体流程A. 提取数据，数据预处理成向量B. autodecoder学习特征表示C. 学到的特征用于具体任务特征学习使用SDA（1）encoder（2）...

目的对于EHR数据的每个visit和每个code进行嵌入方法启发于skip-gram对于visit使用softmax上的交叉熵作为loss：对于code相比visit去掉加入侧写那一层，与visit网络共享Wc，可以一起学习。但在学习的时候对于code的Wc使用Wc’，Wc’=Relu（Wc）。这样可以吧Wc中的负值变成0，从而增加可解释性。同一个visit中的每两个cod...

一个使用了对抗网络和semantic transfer的迁移学习网络，用于图片分类任务。整个网络的目标函数：1 . 数据分为源域S的标签数据；目标域T的无标签数据；目标域T的有标签数据。2. 蓝色的网络是基本的分类学习网络，使用S数据学习得到；3. 绿色网络是针对域T域数据学习网络，初始化为S网络的参数；4. 对抗网络：使用Multi-layer domain adversarial...

A Survey on Deep Transfer LearningTL解决了需要大量数据集/需要同域数据集/需要同task问题

Autoregression Convolutional Neural Network for Asynchronous Time Series目的是通过AR模型和CNN的结合，对已有时间序列预测未来目的是通过AR模型和CNN的结合，对已有时间序列预测未来AR：autoregressionhttps://www.cnblogs.com/super-zhang-828/p/7106970.h...

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling相关知识：FCNhttps://blog.youkuaiyun.com/tuuzhang/article/details/81004731causal convolutionDilated Convolutions...

Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction深度学习中的attention机制：https://blog.youkuaiyun.com/guohao_zhang/article/details/79540014机器翻译 RNN encoder-decoderhttps:...

WaveNet: A Generative Model For Raw Audio目的主要是：生成的语音听起来比其他的tts方法更流畅。还可以实现：文本到语音，语音转换，生成音乐，辨别其实就是提供了一个通用的网络，加以改造就能够完成不同的任务相关的知识：PixelCnn 用于图片生成的cnncasual convolution 因果卷积dilated convolution 扩展卷积...

之前刚开始学神经网络的时候的一些笔记。梯度下降：导出的梯度方向是函数值增大的方向，因此最小值应该减去梯度，也就是向梯度的反方向走（1）批量梯度下降BGD 全部m个样本总体的平均来更新参数。训练慢，但参数容易得到最优。样本数据集小的时候用（2）随机梯度下降SGD m个样本中选一个用来更新参数。训练快，但参数不是最优。样本数据集大的时候用（3）小批量梯度下降MSGD m个样本中选k个平均来更...

PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Network步骤建立异构网络embedding训练总结和前几篇目标函数差不多。步骤建立异构网络如下图，通过文本建立起来的网络分为三部分（1）word-word，每一个word是一个顶点，边上的权重是两个word同时出现的次数。（2）word-do...

Aligning Users Across Social Network Using Network Embedding目标方法目标论文的目标就是把两个社交网络的用户可以align在一起。也就是对两个网络分别嵌入的话，他们的顶点在空间中的表示肯定是不能比的。论文使用了一些方法，可以将两个网络emb后能保持两个网络各自顶点之间和相互之间的正确关系。论文在实验中的例子：将Twitter和fou...

Large-Scale Embedding Learning in Heterogeneous Event Data（HEBE）本来我想把论文关键点写一些的，但是上网搜了一下，发现一个小姐姐写的非常好，有的论文中没有提到的例子和证明小姐姐都给出来了，很清晰。上连接：https://blog.youkuaiyun.com/hy_jz/article/details/79007448其实我感觉HEBE和de...