_Moonquakes_-优快云博客

原创山东大学nlp期末考回忆版24.6

（2）I am in Qingdao campus的1-gram、2-gram、3-gram。（3）给四个句子，计算2-gram下（2）中句子的概率（不加平滑）6.预训练三种结构，简要画出图示，结合例子模型分析预训练。（2）解释hmm同时满足分词和词性标注的原理。7.llm大模型的感受，大模型发展和应用前景。3.（1）统计翻译图示，概率解释翻译过程。（2）神经机器翻译模型，解释翻译过程。1.（1）什么是n-gram模型。（czm大好人😭😭😭😭）4.情感分析关键技术。5.文本自动摘要分类。

2024-06-28 15:38:13 164

原创 nlp-LanguageModel

对于一个平滑的n-gram，其概率为，可以计算句子的概率为：假定测试语料T有个句子构成，则整个测试集的概率为：模型对于测试语料的交叉熵：其中，是测试文本T是词数。模型p的困惑度。

2024-06-01 14:49:10 809

原创 nlp-Pretraining

通过类比完成任务（找出余弦距离最近的向量），他们发现词向量可以产生带有性别偏见的类比，如“男人是计算机程序员，就像女人是家庭主妇”。具体而言，计算解码器当前隐藏状态和编码器输出之间的相似度（注意力权重），根据这些权重对编码器输出进行加权求和，得到上下文向量。词结构和Subword模型：Subword建模对于处理复杂的语言很重要，这些语言中的单词具有许多不同的变体和形式。微调通过适应特定任务的数据，利用预训练中学到的一般知识，提高NLP应用的表现。优势：能够更好的处理未见过的单词，提高模型对语言的泛化能力。

2024-05-30 08:59:19 865

原创 nlp-WordEmbedding

输入单词w(i-2)的编码x(i-2)，其权重为W1，输入单词w(i-1)的编码x(i-1)，其权重为W2。x(i-2)和x(i-1)的长度均为|V|，z的长度为|Z|，z=W1*x(i-2)+W2*x(i-1)。取出第一层神经元的输入，用它来代表一个单词w，则词向量，单词嵌入特征则为V(w)。将w(i-1)和w(i+1)均作为输入得出wi，即根据单词的上下文来预测单词。将wi作为输入的w(i-1)和w(i+1)，即基于给定的单词预测上下文。当W1=W2=W时，z=W*(x(i-2)+x(i-1))。

2024-05-27 11:22:08 280

原创山东大学可视化24.1（回忆版）

科学可视化、信息可视化和可视化分析的联系与差异。以chatgpt等人工智能技术，对大数据可视化分析带来了什么？h=f(x,y)这样的数据，两种方式画，这样画的动机。什么数据不适合饼图，这种数据适合什么可视化。给你一个表格，画雷达图和散点矩阵，优缺点。sne和tsne tsne解决了什么问题。可视化交互的重要性，什么是动态查询。文本可视化流程，三种文本可视化技术。力导向图算法，缺点，改进算法。给你一张图，视觉编码。

2024-01-09 16:00:42 533

原创山东大学神经网络24.1期末考（回忆版）

回归考了均方损失误差 w和b的偏导数形式 w和b如何更新自适应梯度下降比原梯度下降好在哪？它的公式 Lstm cell结构画至少3个cell相连计算矩阵计算sigmoid函数 Transformer架构图 transformer比cnn的优势基于cnn的文本分类的结构图

2024-01-05 13:24:29 344

原创李宏毅机器学习笔记3——CNN（卷积神经网络）和RNN（循环神经网络）

卷积本质上是加权求和，信号处理过程中是时间上的加权求和，图像中是空间上的加权求和。

2023-10-21 21:32:15 2810 1

原创李宏毅机器学习笔记2——DeepLearning（深度学习）

深度学习入门介绍，主要是MLP深度学习是机器学习的一个分支，因此深度学习也满足机器学习的一般流程：提出假设模型、计算模型好坏、选择表现最好的模型。

2023-10-12 21:14:40 325 1

原创李宏毅机器学习笔记1——classification（分类）

分类，即在一个函数判断输入数据所属类别，包括二分类（是/否）和多分类（类别1/类别2……）。·应用范围：信用评分、医疗诊断、手写字符识别、人脸识别等高斯函数通过计算均值μ和协方差Σ（均为矩阵），输入向量x，得到x的概率密度。下图中可以发现，同样的协方差，不同的矩阵，概率分布最高点的地方不同。如果是不同的协方差，同样的均值，此时概率点分布最高的位置一样，但分布密集程度不同。接下来，通过估计均值和协方差来找出高斯函数，估测的方法是极大似然估计法。

2023-10-12 15:07:55 516 1

m0_63776870的博客