机器学习专栏

paddlehub安装直接通过pip install即可：pip install paddlepaddle（这里用的是CPU版本）pip install paddlehub关于如何使用百度这个中文情感分析工具，最直接的方法还是follow官方demo脚本：PaddleHub/demo/senta/senta_demo.py在iPython中大致如下调用： In [1]: import paddlehub as hub ...

XLNet 是基于 BERT 的优缺点,提出的一种泛化自回归预训练方法。--Tow-steam self-attentionBert的优点：可以学习上下文信息 long-term depandencyBert的缺点：缺乏生成能力，本质上是DAV 测试数据有【mask】 针对【mask】预测时候没有考虑相关性自回归（Auto Regressive）语言模型优点：具备生成能力、相关性、无监督、严格的数学表达 缺点：单向；离得近未必有关系 GPT和GPT-2都 AR ...

什么是信息瓶颈理论信息瓶颈（英语：information bottleneck）理论是信源压缩的率失真理论的一种拓展。通俗讲：由于没有先验知识，于是只好都记住，但是可以消除数据本身的冗余（如huffman编码）。这个是最传统的数据压缩，如果允许压缩时失真，对应的是率失真理论：给定失真下可获得的最低压缩码率，即在失真和压缩码率之间权衡。如果有先验知识，比如数据是带标签的，那消除数据本身的...

ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，...

Bert理解 Attention Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射在计算attention时主要分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个softmax函数对这些权重进行归一化；最后将权重和相应的键值value...

什么是核函数在元空间X里，需要一个非线性椭圆分割数据，而通过空间映射到H（高纬度），就可以找到一个简单的平面（线性Function）把数据分割开。通过元空间数据点的内集，找到元空间到高纬空间的映射函数，而这个映射函数---即为Kernel 函数Kernel 函数作用--1.映射高纬，2.找到线性分割物理意义另外空间的距离和角度内积矩阵一个简单的...

http://pytorch-cn.readthedocs.io/zh/latest/

TensorFlow基础用法

强化学习课程http://rll.berkeley.edu/deeprlcourse/

学习这门课程的方法和建议：多看几遍视频，建议每周花 10 小时；用好 wiki 和 notebook；遇到问题先自己试着解决，善于运用 forum 查找答案和提问。回顾上一节的内容，介绍稀疏编码。（P2）稀疏编码的推理。（P3-P6）ISTA算法解释。（P7 - P9）用于稀疏编码推理的坐标下降（P10）https://m