<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[jesseyule的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/jesseyule</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; jesseyule]]></copyright><item><title><![CDATA[学术随笔（三）：关于做出一个好工作的流程中期总结]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/125567921</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/125567921</guid><author>jesseyule</author><pubDate>Sat, 02 Jul 2022 01:09:24 +0800</pubDate><description><![CDATA[最近在带本科生做研究，我发现自己做和带人做区别还是很大的，我本身是一个思维比较跳跃的人，每天都有很多想法，所以做起研究来好像也没遇到什么困难，真的遇到了困难就等灵感来，然后试验一下，一般都能解决问题，但带人做研究可不能这样搞，总不能叫师弟师妹每天等灵感搞科研吧，所以我也在总结整理出自己做研究的一套流程，当然我现在还没发顶刊，所以这个流程未必是最优的，以后也可能会更新新版本，权当一个总结，之后就可以按照流程带新生。一般来说，我们首先需要明确我们研究的大问题是什么，对新人来说，这可能需要导师指导，明确说清楚哪些]]></description><category></category></item><item><title><![CDATA[学术随笔（二）：一篇好论文的标准]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/123979283</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/123979283</guid><author>jesseyule</author><pubDate>Tue, 05 Apr 2022 23:07:23 +0800</pubDate><description><![CDATA[进入学术圈的第一年，我发了一篇三区一篇二区的，从什么都不懂到发论文的这个过程中，体会还是挺多的，这次就来聊聊一篇好文章的标准，对我来说意味着什么。
首先可以从分区的角度来谈，一般来说中科院二区是一个分界线，发表二区及以上的文章有助于毕业之类的，而我第一篇是三区的，第二篇是二区的，我觉得三区和二区最重要的区别就在于整个文章的论述完整性，比如说，我的二区文章是做EEG降噪的，那么整个文章，我首先需要介绍我的模型，然后对比我的模型和其他传统模型的性能，对比包括模拟数据和真实数据，最后进一步分析降噪之后ERP分析和]]></description><category></category></item><item><title><![CDATA[学术随笔（一）：如何在一个新领域开始做研究]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/123895417</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/123895417</guid><author>jesseyule</author><pubDate>Fri, 01 Apr 2022 14:06:51 +0800</pubDate><description><![CDATA[很久没有写文章了，以前写的很多是技术类文章，现在看回这些文章，有些地方感觉自己理解得还不够透彻，不知道能不能带给读者正确且准确的信息，另外也觉得，技术和模型更新迭代得太快，我可以勉强追着这个更新的速度学习，但要同步写文章总结还是太难了，最近思考了一下，比起一些技术类的东西，可能在学术过程中学习到的感悟对大家也会有帮助，所以就记录一下这一年来在学术圈学习到的一些感悟体会。

首先我想谈谈如何开始做研究，这是一个很大的问题，可能比较适合高年级和本科生和研究生看，我不奢望自己能给出完美的答案，只是简单说说我的一些]]></description><category></category></item><item><title><![CDATA[脑机接口（三）：通俗讲解ICA思想（独立成分分析）]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/116783011</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/116783011</guid><author>jesseyule</author><pubDate>Fri, 14 May 2021 10:53:48 +0800</pubDate><description><![CDATA[测量的EEG信号，可以认为是脑电信号和噪声的线性混合，所以对于EEG最重要的预处理就是从EEG数据中分离出干净的EEG和噪声，类似这样的问题称为盲源分离，指的是从多个观测到的混合信号中分析出没有预测的源信号。
我们可以通过公式表示上述问题，
x=Asx = Asx=As
x是我们观测到的（多通道）信号（所以是矩阵而不是一维向量），s是原始的（多通道）信号，A表示混合矩阵。
这个问题最大的难点就在于，我们只有测量出来的混合信号x，对于源信号s和混合矩阵A我们一无所知，在这样的情况下其实s有无穷多个解。
因此，]]></description><category></category></item><item><title><![CDATA[脑机接口（二）：EEG的测量与伪迹]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/116644256</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/116644256</guid><author>jesseyule</author><pubDate>Tue, 11 May 2021 11:29:24 +0800</pubDate><description><![CDATA[一个完整的EGG测量应包含以下几部分：电极、带滤波器的放大器、模数转换器（analog-to-digital）和数据记录电脑。具体来说，头皮表面电极记录的电压信号通过放大器转换成适当的电压范围内的信号，然后通过模数转换器将信号从模拟电压格式转换为数字格式，最后通过记录电脑进行数据存储。
电极
根据电极的在EEG记录中的作用，电极可以分为三种类型：活动电极、参考电极和接地电极，每个单独的EEG电极的电压波形图可以看成是活动电极与参考电极之间电势差随时间的变化，而接地电极主要用于降低接地电环路产生的噪声。大多数]]></description><category></category></item><item><title><![CDATA[脑机接口（一）：背景知识]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/116529436</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/116529436</guid><author>jesseyule</author><pubDate>Sat, 08 May 2021 16:41:10 +0800</pubDate><description><![CDATA[最近开始做脑机接口方面的研究，接触这方面的内容也有一两周了，于是打算整理一下最近学习到的一些知识点，同时我也希望把这个领域的内容写成一个系列的比较通俗易懂的文章，让感兴趣的朋友也可以了解脑机接口到底是怎么一回事。
首先，脑机接口（Brain Computer Interface，BCI）的含义，就是采集和提取大脑产生的脑电信号，进一步进行分析处理，并与外部设备进行信息的传递与控制，从而实现中枢神经系统与体内或体外设备之间的交互。
举个最简单的例子，我们可以在驾驶汽车的时候采集人脑的电信号，然后构建一个分类模]]></description><category></category></item><item><title><![CDATA[深度学习可解释性研究（二）： Understanding Black-box Predictions via Influence Functions（详细公式推导）]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/114300740</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/114300740</guid><author>jesseyule</author><pubDate>Sat, 06 Mar 2021 20:37:44 +0800</pubDate><description><![CDATA[该文章从鲁棒性扰动的角度出发，对深度学习模型的可解释性进行分析。

]]></description><category></category></item><item><title><![CDATA[深度学习可解释性研究（一）: Visualizing and Understanding Convolutional Networks]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/114175547</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/114175547</guid><author>jesseyule</author><pubDate>Tue, 02 Mar 2021 12:46:24 +0800</pubDate><description><![CDATA[如果按照可解释性方法进行的过程进行划分的话，大概可以划分为三个大类：


在建模之前的可解释性方法


建立本身具备可解释性的模型


在建模之后使用可解释性方法对模型作出解释



]]></description><category></category></item><item><title><![CDATA[梳理数据预处理与特征工程全流程]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/112696259</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/112696259</guid><author>jesseyule</author><pubDate>Mon, 18 Jan 2021 10:54:41 +0800</pubDate><description><![CDATA[最近对特征工程颇感兴趣，特别是看到很多数据分析的案例，他们在前面分析了一通，从简单的均值、方差等统计指标，到不同特征的分布都研究了一遍，但是最后直接就建模，感觉从特征工程到建模之间缺乏联系，所以我就在想，到底怎么正确地进行特征工程，怎么从特征工程中挖掘有用信息，辅助建模，这些都是很值得研究学习的问题。
这一次，我想先研究一个问题，为什么我们需要探索数据，也就是所谓的EDA，从EDA中，我们希望探索些什么。
特征工程对于特征有一个理想的要求，那就是不仅能表示出数据的主要特点，还需要符合模型的假设，所以经常需要]]></description><category></category></item><item><title><![CDATA[机器学习经典模型：支持向量机]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111993369</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111993369</guid><author>jesseyule</author><pubDate>Tue, 05 Jan 2021 10:48:19 +0800</pubDate><description><![CDATA[支持向量机涉及到的理论还是比较复杂的，特别是关于模型参数的求解，很多文章都要详细的公式推导分析，这里主要从三个角度入手介绍支持向量机，一个是通常的应用场景，一个是模型的思想，一个是和深度学习模型的对比。
支持向量机的主要应用场景还是二分类问题。
对于一个二分类问题，分类的边界要么是线性要么是非线性的，所以我们先从线性边界开始讨论。
对于n维线性可分的数据，n-1维的分类子空间称为超平面，像二维数据中的线、三维数据中的面都属于超平面，支持向量机的目标，就是找出一个超平面，对数据进行分类。
继续以二维数据为例.]]></description><category></category></item><item><title><![CDATA[机器学习经典模型：集成学习——Boosting（Adaboost与gradient boosting）]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111997597</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111997597</guid><author>jesseyule</author><pubDate>Mon, 04 Jan 2021 21:56:06 +0800</pubDate><description><![CDATA[集成学习中的boosting主要有两类，Adaboost和gradient boosting，而GBDT和XGboost都是gradient boosting的具体应用。
Boosting和bagging相比，主要的区别在于基学习器之间是相互影响的，是串行训练的，具体来说，当前的学习器的训练是依赖于上一轮学习器的训练结果的，对上一轮学习错误的数据给与更多的关注。
AdaBoost的主要思想是一边训练基学习器，一边调整训练数据的分布，使得该轮基学习器分类错误的数据，在下一轮的训练中能得到更多的权重，不断重复.]]></description><category></category></item><item><title><![CDATA[机器学习经典模型：集成学习——bagging]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111997526</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111997526</guid><author>jesseyule</author><pubDate>Mon, 04 Jan 2021 21:55:57 +0800</pubDate><description><![CDATA[集成学习算法的基本思想是，通过将多个学习器组合，从而实现一个效果更好的集成学习器。
集成学习的优点可以从三个角度出发进行分析，统计上，单一的学习算法可以理解为在一个假设空间中找到一个最好的假设，但是训练数据较小的时候，学习算法可以找到很多符合训练数据的学习器，最终不论选择哪个学习器，在某种情况下都可能存在严重的偏差，浴室就把多个假设集合起来，尽可能降低偏差。
计算上，很多学习算法都可能陷入局部最优，集成算法可以从多个起始点可以进行局部搜索，降低模型陷入局部最优的风险。
表示上，假设空间的任意一个假设都无法.]]></description><category></category></item><item><title><![CDATA[机器学习经典模型：决策树]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111992480</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111992480</guid><author>jesseyule</author><pubDate>Mon, 04 Jan 2021 21:55:49 +0800</pubDate><description><![CDATA[决策树是一种分类模型，如下图：

根据这棵树，我们就可以一步步进行判断。构建决策树的目标是希望每个分支节点包含的样本尽量属于同一个类别，为了衡量这种节点的纯度，引入了信息熵的概念，假设当前样本集合D中第k类样本所占的比例为pk，则D的信息熵定义为
Ent(D)=−∑k=1∣y∣pklog2pkEnt(D) = -\sum_{k=1}^{|y|} p_k log_2 p_k Ent(D)=−k=1∑∣y∣​pk​log2​pk​
上面的公式，可以简单算一下，假设现在一个节点有10个样本，一种情况是10个样本.]]></description><category></category></item><item><title><![CDATA[机器学习经典模型：线性判别分析]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111992353</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111992353</guid><author>jesseyule</author><pubDate>Mon, 04 Jan 2021 21:55:31 +0800</pubDate><description><![CDATA[最近打算重新把机器学习的经典模型重新学一遍，基本上是按着周志华老师的《机器学习》的顺序，挑选一些常用的模型学习总结。
这次要介绍的是线性判别分析，LDA的经典应用场景是分类问题下的特征降维，比如说，医院对体检的病人，根据体检结果的各项指标，把病人的健康状况分为优、良、差三个类别，体检的各项指标就是特征，病人的健康状况就是分类的结果，基于分类结果对特征进行降维就是LDA所做的事情。
简单来说，LDA的目标是使得降维后的数据，同一类的尽可能聚集，不同类的尽可能远离，

LDA的实现过程其实就是对输入数据进行线.]]></description><category></category></item><item><title><![CDATA[公式分析self attention如何解决一词多义问题]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/111224968</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/111224968</guid><author>jesseyule</author><pubDate>Tue, 15 Dec 2020 16:56:31 +0800</pubDate><description><![CDATA[今天无意中想到了一个问题，之前一直都在说，embedding向量可能会包括多个语义，所以我们才需要BiLSTM或者self attention提取出这个词在句子中的具体含义，当时我还觉得这种说法有点玄乎，今天想了一下才发现确实有道理。
首先我们要回顾一下word2vec，不论是CBOW还是skip-gram，它们的思路都是通过上下文的词来分析中心词的语义，

上图就是一个简单的CBOW，假设我们完成了训练，那么中间的h就是embedding向量，通过与W’的线性变换，输出的是所有词中出现在其上下文中的概率，]]></description><category></category></item><item><title><![CDATA[知识图谱系列（三）：基于医疗知识图谱实现简单的对话系统]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/110493732</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/110493732</guid><author>jesseyule</author><pubDate>Wed, 02 Dec 2020 18:11:55 +0800</pubDate><description><![CDATA[之前我们已经构建了一个简单的医疗知识图谱，这次就来看看怎么利用这个知识图谱建一个简单的对话系统，构筑的流程还是参考之前的项目，以后我们再结合深度学习进行改进。

上图就反映了这个对话系统的分析思路，整体上接近一个基于规则的对话系统，首先我们需要对用户输入进行分类，其实就是分析用户输入涉及到的实体及问题类型，也就是Neo4j中的node、property、relationship，然后我们利用分析出的信息，转化成Neo4j的查询语句，最后再把查询的结果返回给用户，就完成了一次问答。
整体上涉及到三个模块，问题]]></description><category></category></item><item><title><![CDATA[知识图谱系列（二）：构建一个医疗知识图谱]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/110477728</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/110477728</guid><author>jesseyule</author><pubDate>Wed, 02 Dec 2020 13:04:42 +0800</pubDate><description><![CDATA[之前我们简单介绍了怎么构建一个知识图谱，这次就来看看一个完整的构筑流程，以QASystemOnMedicalKG作为参考，主要想展示一下从最初收集非结构化的数据、到一步步处理并通过知识图谱展示的简单流程。
具体的爬虫过程可以看看这个博客的文章，我主要想快速过一遍这个流程，看看最后知识图谱是如何辅助对话系统的。
首先，我们的数据来源是寻医问药，随便打开一个疾病，可以看到基本的信息：

需要爬取的信息包括疾病名、所属目录、症状、治疗方案等等，都可以从页面上获取，

得到了这些信息，我们就可以构建知识图谱，思路上]]></description><category></category></item><item><title><![CDATA[知识图谱系列（一）：如何构建一个简单的知识图谱]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/110453709</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/110453709</guid><author>jesseyule</author><pubDate>Tue, 01 Dec 2020 21:49:22 +0800</pubDate><description><![CDATA[之前在了解对话系统的时候，就发现其实一个有应用价值的对话系统，需要引入外部知识辅助决策分析，所以我就打算最近学习一下知识图谱，并尝试结合知识图谱构建一个对话系统。
知识图谱是谷歌提出的一个概念，从定义上来说，知识图谱就是结构化的语义知识库，是一种基于图的数据结构，用于描述物理世界中的概念及其相互关系。
既然是图就有边和节点，边指的是事物之间的关系，而节点这里简单地分成两种，第一种是实体，所谓实体就是指现实世界中的一些具体的事物，比如说一个人、一座城市、一家公司等等，都属于实体的范畴。除此之外，我们可以考虑一]]></description><category></category></item><item><title><![CDATA[对话系统在机票业务中的应用]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/109653737</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/109653737</guid><author>jesseyule</author><pubDate>Thu, 12 Nov 2020 19:38:04 +0800</pubDate><description><![CDATA[最近打算深入研究对话系统，大致的计划是先了解对话系统在各个领域中的具体应用，看看其中涉及到的知识点、遇到的问题以及未来的发展方向，这次就先来看看去哪儿的机票业务智能客服。
首先，我们需要了解机票业务的工作是什么，智能客服对于机票业务工作有什么帮助。一般来说，机票业务包括票号查询、购票、出票进度、出票问题、修改信息等等，对于客服而言，确定了具体的业务之后，需要根据订单的状况、航班的状况、客户的具体情况等信息给出合适的回答，这要求客服具备专业能力和信息获取能力。
真人客服的数量终究是有限的，如果智能客服能帮助公]]></description><category></category></item><item><title><![CDATA[深度学习建模训练总结（八）：如何处理梯度消失（爆炸）]]></title><link>https://blog.youkuaiyun.com/jesseyule/article/details/109636644</link><guid>https://blog.youkuaiyun.com/jesseyule/article/details/109636644</guid><author>jesseyule</author><pubDate>Thu, 12 Nov 2020 09:57:58 +0800</pubDate><description><![CDATA[在讨论如何处理梯度消失梯度爆炸的问题之前，先来看看梯度消失梯度爆炸的成因。
梯度消失和梯度爆炸本质上是一样的，都是反向传播算法造成的。我们知道，一个神经网络就是一个一层层嵌套的非线性函数，假设现在模型一共有四层，我们求第二层的一个参数更新的梯度：
δw2=∂Loss∂w2=∂Loss∂w2∂f4∂f3∂f3∂f2∂f2∂x2\delta w_2 = \frac{\partial Loss}{\partial w_2} = \frac{\partial Loss}{\partial w_2} \frac{\.]]></description><category></category></item></channel></rss>