<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[TARO_ZERO的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/TARO_ZERO</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; TARO_ZERO]]></copyright><item><title><![CDATA[大语言模型的技术发展历程，从N-gram到DeepSeek-R1]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/145735273</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/145735273</guid><author>TARO_ZERO</author><pubDate>Fri, 21 Feb 2025 15:16:05 +0800</pubDate><description><![CDATA[从技术角度回顾自然语言处理NLP领域的发展历程，主要介绍各个模型的思路和创新点，聚焦NLP模型的理解，不深入数学推导过程，从统计模型到DeepSeek-R1]]></description><category></category></item><item><title><![CDATA[元宇宙论文笔记2]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/130228371</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/130228371</guid><author>TARO_ZERO</author><pubDate>Thu, 11 May 2023 12:27:07 +0800</pubDate><description><![CDATA[本文在分析区块链安全性的基础上，提出了一种基于区块链的安全性研究方法，即：我们对区块链的安全威胁进行了系统的研究，并通过检查流行的区块链系统来调查相应的真实的攻击。共识机制：区块链是去中心化的账本，共识机制有助于实现不同节点上数据的一致性和正确性，目前流行的共识机制算法有PBFT、PoW、PoS、DPoS，然而这些算法都存在安全隐患，对于PoW如果攻击者的计算能力超过整个区块链的51%，则可能遭受双重花费攻击，攻击者可以控制整个区块链。调查了对区块链系统的真实的攻击，并分析了这些攻击中利用的漏洞。]]></description><category></category></item><item><title><![CDATA[ChatGPT与安全]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/129182202</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/129182202</guid><author>TARO_ZERO</author><pubDate>Mon, 10 Apr 2023 19:36:40 +0800</pubDate><description><![CDATA[OpenAI没有声明其训练集来源，据称ChatGPT的训练数据包含了网络上的公开数据源，因此在预训练阶段，如果公开数据集被恶意投毒，添加噪声扰动的投毒会引起模型生成文本存在错误、语义不连贯等问题，植入后门的投毒会导致一些字母符号等信号触发模型做出特定行为。进行了一项安全驱动的用户研究(n=58)，以评估学生程序员在LLMS的帮助下编写的代码，结果表明，在此设置中的安全影响很小：AI帮助的用户产生关键安全错误的比率不超过控制的10%，这表明LLMS的使用不会引入新的安全风险。]]></description><category></category></item><item><title><![CDATA[元宇宙论文笔记1]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/128636285</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/128636285</guid><author>TARO_ZERO</author><pubDate>Mon, 20 Feb 2023 20:37:35 +0800</pubDate><description><![CDATA[元宇宙安全]]></description><category></category></item><item><title><![CDATA[网络空间安全论文笔记4]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126664594</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126664594</guid><author>TARO_ZERO</author><pubDate>Mon, 19 Sep 2022 13:24:02 +0800</pubDate><description><![CDATA[漏洞检测，二进制代码相似性检测]]></description><category></category></item><item><title><![CDATA[网络空间安全论文笔记3——缺陷]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126499646</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126499646</guid><author>TARO_ZERO</author><pubDate>Fri, 26 Aug 2022 19:58:22 +0800</pubDate><description><![CDATA[软件缺陷预测]]></description><category></category></item><item><title><![CDATA[网络空间安全论文笔记2——漏洞]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126461561</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126461561</guid><author>TARO_ZERO</author><pubDate>Tue, 23 Aug 2022 20:44:34 +0800</pubDate><description><![CDATA[关键词：漏洞预测]]></description><category></category></item><item><title><![CDATA[网络空间安全论文笔记1——漏洞]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126448450</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126448450</guid><author>TARO_ZERO</author><pubDate>Sun, 21 Aug 2022 23:27:42 +0800</pubDate><description><![CDATA[如题]]></description><category></category></item><item><title><![CDATA[互联网安全学习笔记1]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/125548258</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/125548258</guid><author>TARO_ZERO</author><pubDate>Sun, 21 Aug 2022 10:46:33 +0800</pubDate><description><![CDATA[互联网安全课程笔记
https://seedsecuritylabs.org/]]></description><category></category></item><item><title><![CDATA[2022BCS——AI安全论坛]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126069318</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/126069318</guid><author>TARO_ZERO</author><pubDate>Mon, 15 Aug 2022 17:29:11 +0800</pubDate><description><![CDATA[2022.7.30 BCS AI安全论坛]]></description><category></category></item><item><title><![CDATA[NER论文笔记3-ACL2021]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123484862</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123484862</guid><author>TARO_ZERO</author><pubDate>Wed, 27 Apr 2022 22:05:18 +0800</pubDate><description><![CDATA[Modularized Interaction Network for Named Entity Recognition

论文背景：

思路创新：

模型构建：

数据集：


]]></description><category></category></item><item><title><![CDATA[NER论文笔记2-ACL2021]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123335992</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123335992</guid><author>TARO_ZERO</author><pubDate>Mon, 14 Mar 2022 18:08:13 +0800</pubDate><description><![CDATA[ACL2021中NER相关论文]]></description><category></category></item><item><title><![CDATA[NER论文笔记1-ACL2019]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123234285</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123234285</guid><author>TARO_ZERO</author><pubDate>Sun, 06 Mar 2022 22:14:33 +0800</pubDate><description><![CDATA[ACL2019中NER相关论文]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记9-问答系统]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123199903</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123199903</guid><author>TARO_ZERO</author><pubDate>Fri, 04 Mar 2022 16:05:10 +0800</pubDate><description><![CDATA[问答系统
]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记8-共指解析]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123194819</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123194819</guid><author>TARO_ZERO</author><pubDate>Tue, 01 Mar 2022 10:20:14 +0800</pubDate><description><![CDATA[Coreference Resolution 共指解析

处理长文本时，我们先找出文本中的所有提及的事物（命名实体、代词、指代名词），然后我们需要知道哪些事物指向了同一个实体

评价方式：B cubed 聚类评估标准




...]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记7-CNN,TreeRNN]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123175551</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123175551</guid><author>TARO_ZERO</author><pubDate>Mon, 28 Feb 2022 22:55:31 +0800</pubDate><description><![CDATA[Convolutional Neural Nets 卷积神经网络

RNN的弊端：捕获了过多关于靠后输入的信息，且只能捕获连续的信息，难以精准定位某些特定信息（通过LSTM的遗忘门可以做到，但这需要许多层模型）

卷积神经网络CNN：遍历较短的单词窗口，使用 filter 过滤器对窗口进行加权求和，以提取每个小短句的信息特征





遍历完所有长度为的卷积窗口后，我们就得到了一个特征图



由于的维度不确定，引入 pooling layer 池化层，例如最大池化，然后再对不同大小的窗口训练不同的过滤器，]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记6-语音处理]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123169584</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123169584</guid><author>TARO_ZERO</author><pubDate>Sun, 27 Feb 2022 22:42:56 +0800</pubDate><description><![CDATA[目录

端到端语音处理方法

经典语音识别方法：统计模型

神经网络方法：使用神经网络代替每个统计模型

端到端训练模型

Connectionist Temporal Classification(CTC) 连接时序分类法

Sequence to sequence 序列对序列模型：Listen Attend and Spell(LAS)

Online sequence to sequennce 在线序列对序列模型



端到端语音处理方法

经典语音识别方法：统计模型

建立一个文本序列Y= y1y2]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记5-MT,LSTMs,Attention,Transformer]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123150351</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123150351</guid><author>TARO_ZERO</author><pubDate>Sun, 27 Feb 2022 20:14:46 +0800</pubDate><description><![CDATA[场景：machine translation 机器翻译

传统方法：基于统计的机器翻译

分为翻译模型和语言模型两部分，前者完成单词转换（给出可能的单词选择），后者完成语序选择（选择单词并排列成语句）

Neural machine translation(NMT) 神经机器学习：编码器&amp;解码器结构



编码器的最后层隐状态（向量）需要捕获整个句子，随后的每层解码器都只依赖上一层的结果向量



使用交叉熵损失函数



改进思路：编码解码使用不同权值矩阵、更深层次、双向编码、逆向输入单词序列

]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记4-RNN]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123142300</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123142300</guid><author>TARO_ZERO</author><pubDate>Sat, 26 Feb 2022 15:10:47 +0800</pubDate><description><![CDATA[目录

Recurrent Neural Network 递归神经网络

N-grams

RNN 递归神经网络

RNN的训练：The vanishing/exploding gradient problem 梯度消失/爆炸问题

Bidirectional RNNs 双向循环神经网络

评估：F1-score



Recurrent Neural Network 递归神经网络

场景：计算单词序列的概率

N-grams

思路：根据前个单词预测第个单词的概率，但这会占用大量内存

RNN 递归神经网]]></description><category></category></item><item><title><![CDATA[cs224n学习笔记3-依存分析]]></title><link>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123116001</link><guid>https://blog.youkuaiyun.com/TARO_ZERO/article/details/123116001</guid><author>TARO_ZERO</author><pubDate>Fri, 25 Feb 2022 18:33:09 +0800</pubDate><description><![CDATA[依存分析

两个句法分析工具：

Context-free grammars(CFGs) 上下文无关文法

Dependency structure 依存句法结构

Dependency structure 依存句法结构

单词A修饰单词B，则称单词A是单词B的依赖，表示为BA




]]></description><category></category></item></channel></rss>