- 博客(22)
- 收藏
- 关注
RSS订阅原创 大语言模型的技术发展历程，从N-gram到DeepSeek-R1
从技术角度回顾自然语言处理NLP领域的发展历程，主要介绍各个模型的思路和创新点，聚焦NLP模型的理解，不深入数学推导过程，从统计模型到DeepSeek-R1
2025-02-21 15:16:05
788
原创 元宇宙论文笔记2
本文在分析区块链安全性的基础上，提出了一种基于区块链的安全性研究方法，即：我们对区块链的安全威胁进行了系统的研究，并通过检查流行的区块链系统来调查相应的真实的攻击。共识机制：区块链是去中心化的账本，共识机制有助于实现不同节点上数据的一致性和正确性，目前流行的共识机制算法有PBFT、PoW、PoS、DPoS，然而这些算法都存在安全隐患，对于PoW如果攻击者的计算能力超过整个区块链的51%，则可能遭受双重花费攻击，攻击者可以控制整个区块链。调查了对区块链系统的真实的攻击，并分析了这些攻击中利用的漏洞。
2023-05-11 12:27:07
290
原创 ChatGPT与安全
OpenAI没有声明其训练集来源，据称ChatGPT的训练数据包含了网络上的公开数据源，因此在预训练阶段，如果公开数据集被恶意投毒，添加噪声扰动的投毒会引起模型生成文本存在错误、语义不连贯等问题，植入后门的投毒会导致一些字母符号等信号触发模型做出特定行为。进行了一项安全驱动的用户研究(n=58)，以评估学生程序员在LLMS的帮助下编写的代码，结果表明，在此设置中的安全影响很小：AI帮助的用户产生关键安全错误的比率不超过控制的10%，这表明LLMS的使用不会引入新的安全风险。
2023-04-10 19:36:40
2196
1原创 NER论文笔记3-ACL2021
Modularized Interaction Network for Named Entity Recognition论文背景：思路创新：模型构建：数据集：
2022-04-27 22:05:18
1202
原创 cs224n学习笔记8-共指解析
Coreference Resolution 共指解析处理长文本时，我们先找出文本中的所有提及的事物（命名实体、代词、指代名词），然后我们需要知道哪些事物指向了同一个实体评价方式：B cubed 聚类评估标准...
2022-03-01 10:20:14
974
原创 cs224n学习笔记7-CNN,TreeRNN
Convolutional Neural Nets 卷积神经网络RNN的弊端：捕获了过多关于靠后输入的信息，且只能捕获连续的信息，难以精准定位某些特定信息（通过LSTM的遗忘门可以做到，但这需要许多层模型）卷积神经网络CNN：遍历较短的单词窗口，使用 filter 过滤器对窗口进行加权求和，以提取每个小短句的信息特征遍历完所有长度为的卷积窗口后，我们就得到了一个特征图由于的维度不确定，引入 pooling layer 池化层，例如最大池化，然后再对不同大小的窗口训练不同的过滤器，
2022-02-28 22:55:31
662
原创 cs224n学习笔记6-语音处理
目录端到端语音处理方法经典语音识别方法：统计模型神经网络方法：使用神经网络代替每个统计模型端到端训练模型Connectionist Temporal Classification(CTC) 连接时序分类法Sequence to sequence 序列对序列模型：Listen Attend and Spell(LAS)Online sequence to sequennce 在线序列对序列模型端到端语音处理方法经典语音识别方法：统计模型建立一个文本序列Y= y1y2
2022-02-27 22:42:56
1927
原创 cs224n学习笔记5-MT,LSTMs,Attention,Transformer
场景：machine translation 机器翻译传统方法：基于统计的机器翻译分为翻译模型和语言模型两部分，前者完成单词转换（给出可能的单词选择），后者完成语序选择（选择单词并排列成语句）Neural machine translation(NMT) 神经机器学习：编码器&解码器结构编码器的最后层隐状态（向量）需要捕获整个句子，随后的每层解码器都只依赖上一层的结果向量使用交叉熵损失函数改进思路：编码解码使用不同权值矩阵、更深层次、双向编码、逆向输入单词序列
2022-02-27 20:14:46
449
原创 cs224n学习笔记4-RNN
目录Recurrent Neural Network 递归神经网络N-gramsRNN 递归神经网络RNN的训练：The vanishing/exploding gradient problem 梯度消失/爆炸问题Bidirectional RNNs 双向循环神经网络评估：F1-scoreRecurrent Neural Network 递归神经网络场景：计算单词序列的概率N-grams思路：根据前个单词预测第个单词的概率，但这会占用大量内存RNN 递归神经网
2022-02-26 15:10:47
460
原创 cs224n学习笔记3-依存分析
依存分析两个句法分析工具：Context-free grammars(CFGs) 上下文无关文法Dependency structure 依存句法结构Dependency structure 依存句法结构单词A修饰单词B，则称单词A是单词B的依赖，表示为BA
2022-02-25 18:33:09
619
原创 cs224n学习笔记2-神经网络
应用：Window classification 词窗口分类模型例如在命名实体识别任务中，已经掌握每个词汇对应的词向量，任务是识别出文本中的词向量的词性和类别词窗口分类模型的思路是在对单词分类时，考虑该词汇和其周围的单词窗口，将包含中心词和上下文的窗口拼接成列向量放入分类器中训练得到其分类Softmax分类器将输入向量与参数矩阵相乘，然后通过softmax函数计算各分类概率交叉熵损失函数为缺点在于只能训练出线性边界，因此需要神经网络神经网络由大量具有空间结构.
2022-02-24 17:00:34
246
原创 cs224n学习笔记1-词向量
目录word vector 词向量Skip-gram 模型Continuous Bag of Words 连续词袋模型共现矩阵作为词向量组合模型：Gloveword vector 词向量one-hot vector 独热码：仅依靠1的位置区分单词，词向量无法相互关联于是考虑用点积结果表征单词相似性，也就有了word2vec模型生成词向量算法：Skip-grams(SG)，Continuous Bag of Words(CBOW)训练方法：Hierarchical
2022-02-23 16:53:19
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人