【动手学深度学习】8.3 语言模型（个人向笔记）

最新推荐文章于 2025-05-28 10:48:32 发布
最新推荐文章于 2025-05-28 10:48:32 发布
阅读量431 收藏 4
点赞数 3
文章标签： 深度学习 语言模型 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hxdxiaoming/article/details/143084921
版权
  • 下面是语言模型的简介
    在这里插入图片描述

1. 学习语言模型

  • 使用计数来建模
    在这里插入图片描述
  • N元语法：这里的元可以理解为我们之前的时间变量。对于 N 元语法，我们可以把所有长度为 N 的子序列存下来。其中 1 元语法用的很少。这里其实就是算概率的时候我们不往前看所有的概率，只往前看 N-1 个词的概率
    在这里插入图片描述
  • 总结
    在这里插入图片描述

2. 自然语言统计

  • 语言模型与数据集：可以看到停词的出现是很多的，但是它们对于文本的理解作用较小
    在这里插入图片描述
  • 我们画出词频图看一下：可以看到在log上是差不多线性的
最低0.47元/天 解锁文章
【如何用Cost733进行天气环流形势分型】
weixin_53167226的博客
09-19 2093
cost733是一款由欧洲机构COST开发的天气分型软件，可用于气象工作者进行天气类型划分。
CentOS7 安装天气分型软件cost733过程详解
weixin_62573024的博客
03-05 2784
cost733是一款天气分型软件，其内置的一些算法可以帮助气象工作者进行天气类型划分等（我也是初学者，仅仅知道一些皮毛），但是网上找到的安装办法比较少，并且总会出现一些报错，试了一晚上，终于将安装办法调通了，希望可以帮助到大家
Pytorch---使用Pytorch实现四种天气分类问题
qq_44961869的博客
06-19 1085
Pytorch实现四种天气分类
cost733 assessment in Norway.pdf
08-18
客观天气分型，采用欧盟cost733模式，利用T模态倾斜旋转主分量等方法对天气形势进行客观分型。
Cost
bobye1230的专栏
11-03 614
Introduction of a virtual table associated with Point2d to hold the address of each virtual function it declares. The size of this table in general is the number of virtual functions declared plus a
基于Python的实战聚类代码（Kmeans和SOM）
记录基于python语言处理气象问题的一些代码，包括不限于气象数据读取、机器学习和深度学习建模。
11-27 1665
在肘部法则中，我们关注的是随着簇数增加，Inertia（簇内平方和）的变化情况。通常情况下，Inertia值越低表示数据点更接近其簇中心，但并非绝对。在肘部法则中，我们寻找的是Inertia急剧下降并趋于平缓的点，这个点可能是最佳的聚类数量。因此，对于肘部法则，我们要找到Inertia值下降幅度显著变小，即形成一个“肘部”样的点，这时候增加簇数不再显著地降低Inertia。
Centos安装Opengl相关依赖
热门推荐
qq_32627687的博客
07-18 1万+
今天要跑github上这个代码： https://github.com/tianli/matlab_offscreen。 代码需要装opengl相关的依赖：freeglut+libglew+libglew-dev，搜了很久发现基本都是ubuntu的教程，在这里总结一下Centos的。 1 freeglut安装方法，可戳官网这里。 # yum install freeglut 2  lib...
php多个变量的平均值,已经自助解决: 如何一次对多个变量进行均值检验
weixin_39644713的博客
03-27 192
一个样本，因变量为y，是一个二分变量自变量为x1, x2, x3现在想生成一个这样的表格========================y = 0 y = 1------------------------------------------------mean mean(sd) ...
分时天气数据-数据集
03-13
北京/上海/广东，各区的分时天气数据 area_weather.csv
Time Cost Class
05-08
This is a class for check time cost for a function, the accuracy is 1ms.
吴恩达深度学习课程第一课第二周datasets和lr_utils
09-26
吴恩达深度学习系列课程的第一课、第二周编程练习Logistic Regression with a Neural Network mindset中用到的datasets和lr_utils.py文件
安装配置验证COST(orapki)
cuiqu7295的博客
09-12 344
/*配置COST*/应电信某业务分公司要求，安装cost。此在测试环境进行cost的配置、验证。--参照文档--Using Class of Secure Transport (COST) to R...
【漫话机器学习系列】275.GrabCut 算法——用于去除图片背景（Grabcut For Removing Image Backgrounds）
IT古董
05-24 765
GrabCut 是由微软剑桥实验室于 2004 年提出的一种交互式图像前景分割算法。相比传统的图像分割方法，它的亮点是：支持用户轻松交互，只需简单画个矩形；基于高斯混合模型（GMM）与图割（Graph Cut）优化；分割效果细腻，适用于复杂背景下的图像处理。GrabCut 是一项结合图割与 GMM 的强大图像分割算法；通过手动圈定目标区域，就能自动判断前景与背景；适合中等难度的抠图任务，是 OpenCV 实战中的常用技能之一。
016搜索之广度优先BFS——算法备赛
2401_82484471的博客
05-27 650
广度优先搜索是一种逐层遍历的方式，是图论，树论的基本搜索方式，在决策类问题上也有应用。 算法的关键是准备一个`节点队列`，每遍历一个节点将其所有未访问的子节点(或所有的邻接节点)入队，遍历完一个节点后及时从队列中出队。当队列为空遍历结束。 BFS作为基础搜索算法，其逐层扩散的特点在很多高级算法有着广泛的应用，如`Djstra`算法就是用优先队列实现的`BFS`。
题目 3341: 蓝桥杯2025年第十六届省赛真题-抽奖
m0_75262437的博客
05-27 1021
题目 3341: 蓝桥杯2025年第十六届省赛真题-抽奖时间限制: 2s 内存限制: 192MB 提交: 415 解决: 105题目描述LQ 商场为了回馈广大用户，为在此消费的用户提供了抽奖机会：抽奖机有三个转轮，每个转轮上都分布有 n 个数字图案，标号为 1 ∼ n ，按照从 1 到 n 顺序转动，当转到第 n 个图案时会从第一个继续开始。奖项如下：1）三个相同的图案，积分 +200；2）两个相同的图案，积分 +100；
DeepSeek 赋能智能安防：从算法革新到场景落地的全解析
邓邓子的博客
05-27 835
随着人工智能技术的快速发展，智能安防系统迎来了新的变革机遇。本文聚焦 DeepSeek 在智能安防系统中的应用，深入剖析其基于 Transformer 架构与混合专家架构的核心技术原理。详细阐述 DeepSeek 在智能监控预警、门禁身份识别、智能分析决策及系统运维优化等场景中的实践应用，结合智慧社区、智慧监狱等实际案例，展现其高精度识别、高效决策优势。同时，客观分析DeepSeek应用过程中面临的数据安全、算法优化等挑战，并对其与物联网、大数据融合的未来发展方向进行展望，为智能安防领域技术创新提供参考。
java 代码查重（五）比较余弦算法、Jaccard相似度、欧式距离、编辑距离等在计算相似度的差异
我的E家
05-24 1259
为了实现更准确对比2个Java代码的相似度(用于Java课程作业查重场景)， 可以将Java源码原封不动保存到.java文件中，可以得到更准确结果，且不同相似度算法下计算的相似度差异一致。比较源文件和目标文件都是标准的Java代码(.java代码)，唯一区别在于目标文件含有注释，源文件没有注释。初步结论： 相同的Java代码复制到文本文件中(.txt文件)，不同算法检查的相似度差异较大。比较源文件和目标文件都是标准的Java代码，唯一区别在于目标文件含有注释，源文件没有注释。
【Halcon】图像分割中的 regiongrowing 与dyn_threshold 动态阈值 算法详解对比
最新发布
songhuangong123的博客
05-28 579
动态阈值通过比较当前像素与模糊背景图的灰度差异，实现前景/背景分离，适用于背景不均但结构明显的目标提取。对比维度连通区域分割✅❌灰度不均背景❌✅算法逻辑局部相似性扩张背景减法式阈值应用举例焊点、颗粒提取字符、污点检测。
SOM天气分型
03-18
### Self-Organizing Map (SOM) 在天气分型中的应用及实现 #### 应用背景 Self-Organizing Map (SOM) 是一种无监督学习算法，能够将高维数据映射到低维空间，同时保留原始数据的拓扑结构[^1]。这种特性使其非常适合应用于气象学领域中的天气分型研究。通过 SOM 的降维能力，可以有效地分析复杂的多变量气象数据集，并将其转化为易于理解的形式。 在天气分型中，SOM 被用来识别不同类型的天气模式或气候状态。这些模式可能对应于特定的大气条件，例如高压系统、低压系统或其他显著的天气现象。通过对历史气象观测数据进行训练，SOM 可以自动发现并分类不同的天气类型，从而帮助研究人员更好地理解和预测气候变化趋势。 #### 实现过程概述 以下是基于 SOM 进行天气分型的主要技术细节： 1. **数据预处理** 天气分型的数据源通常是来自地面站点或多层大气模型的多变量时间序列数据。为了提高计算效率和准确性，在输入 SOM 前需对数据进行标准化处理。这一步骤涉及去除异常值以及缩放特征向量至统一范围（如 [-1, 1] 或 [0, 1]），以确保各维度的重要性均衡[^2]。 2. **构建 SOM 模型** 使用二维网格作为输出层来表示简化后的天气类型分布情况。该网格上的每一个节点代表一个原型矢量，即一组经过优化调整后最能反映某一类天气特性的参数组合。随着迭代次数增加，相邻节点间的距离逐渐减小直至收敛稳定为止。 3. **训练阶段** 训练过程中采用竞争性学习机制更新权重矩阵 Wij 。具体而言就是对于每条样本 xi ，找到与其最近邻接点 j* 并依据一定规则修改关联权值 wij * 向目标靠近；与此同时还会影响周围其他若干个临近单元也做相应程度的变化以维持整体布局连贯性[^3]。 4. **结果解释与验证** 完成上述步骤之后即可得到一张清晰展示各类典型天气状况的地图图像。进一步可以通过统计方法评估所得分区是否合理有效——比如考察内部一致性指标或者外部参照标准匹配度等等方式来进行质量检验。 #### Python 示例代码 下面提供了一个简单的Python脚本演示如何利用 `minisom`库创建基本版SOM并对随机生成的一些假想气象要素执行初步探索操作: ```python from minisom import MiniSom import numpy as np # 设置SOM大小和其他超参 som_shape = (10, 10) input_dim = 5 # 假设有五个气象因子 sigma = 1.0 # 初始影响半径 learning_rate = 0.5 # 初始化SOM对象 som = MiniSom(som_shape[0], som_shape[1], input_dim, sigma=sigma, learning_rate=learning_rate) # 创建一些虚构的气象数据供测试用途 np.random.seed(0) data = np.random.rand(100, input_dim) # 开始训练前先初始化权重 som.random_weights_init(data) # 执行批量训练流程 epochs = 100 for epoch in range(epochs): rand_index = np.random.randint(len(data)) sample = data[rand_index] som.update(sample, som.winner(sample), epochs - epoch, epochs) # 显示最终形成的地图格局 weights = som.get_weights() print(weights.shape) # 输出应为 (10, 10, 5)，意味着有十个乘十个小格子各自携带五项属性数值 ``` #### 注意事项 尽管 SOM 提供了一种强大的工具用于揭示隐藏在复杂气象数据库背后的潜在规律，但在实际部署时仍需要注意几个方面的问题：首先是关于最佳网络尺寸的选择问题并没有通用解答方案，往往依赖经验判断结合交叉验证手段确定合适规模；其次是当面对非常庞大稀疏矩阵形式呈现出来的资料集合时候，则可能会面临内存占用过高甚至溢出的风险因此需要特别小心规划资源分配策略。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值